Podemos provar matematicamente que um sistema de IA é seguro?
Horizonte distante
Por que isso importa
Saídas erradas de redes neurais podem ter consequências custosas, e testes por si só podem não mostrar que um sistema de IA evita comportamentos perigosos. Provas matemáticas poderiam dar fortes garantias de segurança, como os altos padrões já exigidos para infraestruturas críticas.
O que sabemos
A verificação formal já prova a correção de alguns softwares críticos.
O que nos trava
As redes neurais são grandes e opacas demais para os métodos de prova atuais.
Pistas atuais
Verificar partes pequenas ou saídas, IA que escreve suas próprias provas verificáveis.
Subperguntas
Como transformar uma ideia vaga como 'dano' em uma regra precisa que um computador possa verificar?
Podemos construir modelos do mundo precisos o suficiente para provar o que as ações de uma IA vão causar?
Sistemas de IA podem ser treinados para escrever as provas de segurança que hoje exigem trabalho demais de especialistas humanos?