गहरे न्यूरल नेटवर्क इतना अच्छा सामान्यीकरण क्यों करते हैं?
ठोस सुराग
यह क्यों महत्वपूर्ण है
डीप लर्निंग व्यवहार में बहुत अच्छा काम करती है, पर हम अभी नहीं समझते कि क्यों। यह जानना कि नेटवर्क सामान्यीकरण क्यों कर पाते हैं, उलझाने वाले व्यवहारों को समझा सकता है, जैसे गलत लेबलों से सीखना, और ऐसी प्रशिक्षण विधियाँ सुझा सकता है जो कम रटें और बेहतर सामान्यीकरण करें।
हम क्या जानते हैं
विशाल नेटवर्क सीमित आँकड़ों पर प्रशिक्षित होकर भी नए उदाहरणों पर काम करते हैं, जो शास्त्रीय सांख्यिकी के विपरीत है।
रुकावट क्या है
कोई पूर्ण सिद्धांत नहीं है जो बताए कि ऐसा क्यों होता है, या यह कब विफल होगा।
वर्तमान सुराग
स्केलिंग नियम, अनंत-चौड़ाई सीमाएँ, सीखने की गतिकी के अध्ययन।
उप-प्रश्न
जो नेटवर्क यादृच्छिक रूप से लेबल किए गए डेटा को याद कर सकते हैं, वे वास्तविक डेटा पर फिर भी अच्छा सामान्यीकरण क्यों करते हैं?
प्रशिक्षण डेटा में फ़िट होने वाले सभी हलों में से, ग्रेडिएंट डिसेंट ऐसा हल कैसे खोजता है जो अच्छा सामान्यीकरण करे?
क्या हम एक बेहतर माप बना सकते हैं जो बताए कि प्रशिक्षण उदाहरण आपस में कितने ‘सहमत’ हैं (ग्रेडिएंट सुसंगतता), और जो नेटवर्क की संरचना को भी ध्यान में रखे?