A IA pode raciocinar de forma confiável e saber quando está errada?
Avanço à vista
Por que isso importa
Os modelos de IA às vezes chutam quando não têm certeza, produzindo afirmações plausíveis, mas falsas, que minam a confiança. Uma IA que raciocine de forma confiável e admita quando não sabe seria mais útil e mais confiável para as pessoas que dependem dela.
O que sabemos
Os modelos de raciocínio melhoraram muito em matemática e programação.
O que nos trava
Eles ainda afirmam coisas falsas com confiança e avaliam mal a própria incerteza.
Pistas atuais
Verificação automática das respostas, treinamento com resultados checados, confiança calibrada.
Subperguntas
Como uma IA pode aprender a reconhecer os limites do seu próprio conhecimento?
As IAs inventariam menos respostas falsas se os testes parassem de recompensar o chute em vez de dizer 'não sei'?
Por que um treinamento extra pode tornar um modelo pior em avaliar quanta confiança ele deveria ter?