¿Por qué las redes neuronales profundas generalizan tan bien?
Pistas serias
Por qué importa
El aprendizaje profundo funciona muy bien en la práctica, pero aún no entendemos por qué. Saber por qué las redes generalizan podría explicar comportamientos desconcertantes, como aprender a partir de etiquetas con ruido, y sugerir métodos de entrenamiento que memoricen menos y generalicen mejor.
Lo que sabemos
Redes enormes entrenadas con datos finitos siguen funcionando con ejemplos nuevos, al contrario de lo que dice la estadística clásica.
Lo que nos frena
No existe una teoría completa que explique por qué, ni que prediga cuándo falla.
Pistas actuales
Leyes de escala, límites de anchura infinita, estudios de la dinámica del aprendizaje.
Subpreguntas
¿Por qué las redes capaces de memorizar datos etiquetados al azar siguen generalizando bien con datos reales?
Entre todas las soluciones que se ajustan a los datos de entrenamiento, ¿cómo encuentra el descenso de gradiente una que generalice bien?
¿Podemos diseñar una mejor medida de cuánto «concuerdan» entre sí los ejemplos de entrenamiento (coherencia de gradientes) que tenga en cuenta la estructura de la red?