L'IA peut-elle raisonner de façon fiable et savoir quand elle se trompe ?
Percée en vue
Pourquoi c'est important
Les modèles d'IA devinent parfois lorsqu'ils ne sont pas sûrs, produisant des affirmations plausibles mais fausses qui sapent la confiance. Une IA qui raisonne de façon fiable et reconnaît quand elle ne sait pas serait plus utile et plus digne de confiance pour ceux qui s'y fient.
Ce qu'on sait
Les modèles de raisonnement ont fortement progressé en mathématiques et en code.
Ce qui bloque
Ils affirment encore des faussetés avec assurance et évaluent mal leur propre incertitude.
Pistes en cours
Vérification automatique des réponses, entraînement sur des résultats vérifiés, confiance calibrée.
Sous-questions
Comment une IA peut-elle apprendre à reconnaître les limites de ses propres connaissances ?
Les IA inventeraient-elles moins de fausses réponses si les tests cessaient de récompenser le fait de deviner plutôt que de dire « je ne sais pas » ?
Pourquoi un entraînement supplémentaire peut-il rendre un modèle moins bon pour juger de la confiance qu'il devrait avoir ?