Por que as redes neurais profundas generalizam tão bem?
Pistas sérias
Por que isso importa
A aprendizagem profunda funciona muito bem na prática, mas ainda não percebemos porquê. Saber porque é que as redes generalizam poderia explicar comportamentos intrigantes, como aprender a partir de rótulos com ruído, e sugerir métodos de treino que memorizam menos e generalizam melhor.
O que sabemos
Redes enormes treinadas com dados finitos ainda funcionam em exemplos novos, ao contrário do que diz a estatística clássica.
O que nos trava
Não há uma teoria completa que explique por quê, nem que preveja quando isso falha.
Pistas atuais
Leis de escala, limites de largura infinita, estudos da dinâmica de aprendizado.
Subperguntas
Por que redes capazes de memorizar dados rotulados ao acaso ainda generalizam bem em dados reais?
Entre todas as soluções que se ajustam aos dados de treino, como o gradiente descendente encontra uma que generaliza bem?
Podemos criar uma medida melhor de quanto os exemplos de treino «concordam» entre si (coerência dos gradientes) que leve em conta a estrutura da rede?