¿Puede la IA razonar de forma fiable y saber cuándo se equivoca?
Avance a la vista
Por qué importa
Los modelos de IA a veces adivinan cuando no están seguros y producen afirmaciones plausibles pero falsas que socavan la confianza. Una IA que razone de forma fiable y admita cuando no sabe sería más útil y más confiable para las personas que dependen de ella.
Lo que sabemos
Los modelos de razonamiento han mejorado mucho en matemáticas y programación.
Lo que nos frena
Todavía afirman cosas falsas con seguridad y juzgan mal su propia incertidumbre.
Pistas actuales
Verificación automática de respuestas, entrenamiento con resultados comprobados, confianza calibrada.
Subpreguntas
¿Cómo puede una IA aprender a reconocer los límites de su propio conocimiento?
¿Inventarían las IA menos respuestas falsas si los exámenes dejaran de premiar adivinar en lugar de decir «no lo sé»?
¿Por qué un entrenamiento adicional puede hacer que un modelo juzgue peor cuánta confianza debería tener?