Peut-on comprendre ce qui se passe à l'intérieur d'un réseau de neurones ?
Pistes sérieuses
Pourquoi c'est important
Comprendre ce qui se passe à l'intérieur des réseaux de neurones pourrait donner davantage de garanties sur le comportement des systèmes d'IA, et éclairer des questions scientifiques sur la nature de l'intelligence.
Ce qu'on sait
On sait isoler des concepts et des circuits internes dans de grands modèles de langage.
Ce qui bloque
Les modèles sont immenses et chaque neurone mélange plusieurs concepts.
Pistes en cours
Dictionnaires de caractéristiques, traçage de circuits, outils automatisés d'analyse.
Sous-questions
Qu'est-ce qui compte exactement comme une « caractéristique », ou un concept, à l'intérieur d'un réseau de neurones ?
Comment vérifier qu'une explication de ce que fait un réseau est réellement juste ?
Le travail de compréhension des modèles d'IA peut-il être automatisé et rester abordable à mesure que les modèles grandissent ?