Peut-on prouver mathématiquement qu'une IA est sûre ?
Horizon lointain
Pourquoi c'est important
Les erreurs des réseaux de neurones peuvent avoir des conséquences coûteuses, et des tests seuls peuvent ne pas suffire à montrer qu'un système d'IA évite les comportements dangereux. Des preuves mathématiques pourraient apporter de solides garanties de sécurité, comparables aux normes élevées déjà exigées pour les infrastructures critiques.
Ce qu'on sait
La vérification formelle prouve déjà l'exactitude de certains logiciels critiques.
Ce qui bloque
Les réseaux de neurones sont bien trop grands et opaques pour les méthodes actuelles.
Pistes en cours
Vérifier des parties ou des sorties, IA qui rédige ses propres preuves vérifiables.
Sous-questions
Comment transformer une idée floue comme le « tort » en une règle précise qu'un ordinateur peut vérifier ?
Pouvons-nous construire des modèles du monde assez précis pour prouver ce que provoqueront les actions d'une IA ?
Peut-on entraîner des systèmes d'IA à rédiger les preuves de sûreté qui demandent aujourd'hui trop de travail aux experts humains ?