¿Cómo construimos una IA general fiable y alineada con nuestros intereses?
Pistas serias
Por qué importa
La IA de propósito general podría ayudar a hacer crecer las economías y mejorar la vida de las personas, pero también puede usarse para causar daño o causarlo por accidente. Hacerla fiable y alineada con nuestros intereses ayudaría a asegurar esos beneficios limitando los riesgos.
Lo que sabemos
Los modelos actuales son muy capaces y mejoran rápidamente.
Lo que nos frena
Todavía no podemos verificar lo que un modelo intenta realmente hacer, ni garantizar su comportamiento.
Pistas actuales
Interpretabilidad, supervisión escalable, evaluaciones de capacidades peligrosas.
Subpreguntas
¿Cómo pueden las personas comprobar el trabajo de una IA en tareas demasiado difíciles para que ellas puedan juzgarlas?
¿Cómo impedir que una IA aproveche los fallos de la recompensa que se la entrena para maximizar?
¿Por qué una IA puede comportarse mal una vez en uso, aunque haya sido recompensada correctamente durante el entrenamiento?