Comment construire une IA générale fiable et alignée sur nos intérêts ?
Pistes sérieuses
Pourquoi c'est important
L'IA à usage général pourrait aider à faire croître les économies et à améliorer les conditions de vie, mais elle peut aussi être utilisée pour nuire ou causer des dommages par accident. La rendre fiable et alignée sur nos intérêts aiderait à obtenir ces bénéfices tout en limitant les risques.
Ce qu'on sait
Les modèles actuels sont très capables et progressent vite.
Ce qui bloque
On ne sait pas encore vérifier ce qu'un modèle cherche vraiment à faire, ni garantir son comportement.
Pistes en cours
Interprétabilité, supervision à grande échelle, évaluations des capacités dangereuses.
Sous-questions
Comment des humains peuvent-ils vérifier le travail d'une IA sur des tâches trop difficiles pour qu'ils puissent en juger ?
Comment empêcher une IA d'exploiter les failles de la récompense qu'elle est entraînée à maximiser ?
Pourquoi une IA peut-elle mal se comporter une fois utilisée, même si elle a été correctement récompensée pendant l'entraînement ?