Pourquoi les réseaux de neurones profonds généralisent-ils si bien ?
Pistes sérieuses
Pourquoi c'est important
L'apprentissage profond fonctionne très bien en pratique, mais on ne comprend pas encore pourquoi. Savoir pourquoi les réseaux généralisent pourrait expliquer des comportements déroutants, comme l'apprentissage à partir d'étiquettes erronées, et suggérer des méthodes d'entraînement qui mémorisent moins et généralisent mieux.
Ce qu'on sait
D'immenses réseaux entraînés sur des données limitées fonctionnent sur des exemples nouveaux, contrairement aux prédictions de la statistique classique.
Ce qui bloque
Aucune théorie complète ne l'explique ni ne prédit quand cela échoue.
Pistes en cours
Lois d'échelle, limites de largeur infinie, étude de la dynamique d'apprentissage.
Sous-questions
Pourquoi des réseaux capables de mémoriser des données étiquetées au hasard généralisent-ils quand même bien sur des données réelles ?
Parmi toutes les solutions qui collent aux données d'entraînement, comment la descente de gradient en trouve-t-elle une qui généralise bien ?
Peut-on concevoir une meilleure mesure de l'« accord » entre exemples d'entraînement (cohérence des gradients) qui tienne compte de la structure du réseau ?