Como construir uma IA geral confiável e alinhada aos nossos interesses?
Pistas sérias
Por que isso importa
A IA de uso geral poderia ajudar a fazer as economias crescerem e a melhorar vidas, mas também pode ser usada para causar danos ou causá-los por acidente. Torná-la confiável e alinhada aos nossos interesses ajudaria a garantir esses benefícios limitando os riscos.
O que sabemos
Os modelos atuais são muito capazes e melhoram rapidamente.
O que nos trava
Ainda não conseguimos verificar o que um modelo realmente busca fazer, nem garantir seu comportamento.
Pistas atuais
Interpretabilidade, supervisão escalável, avaliações de capacidades perigosas.
Subperguntas
Como as pessoas podem verificar o trabalho de uma IA em tarefas difíceis demais para elas avaliarem?
Como impedir que uma IA explore falhas na recompensa que ela é treinada para maximizar?
Por que uma IA pode se comportar mal quando em uso, mesmo tendo sido recompensada corretamente durante o treinamento?