Podemos entender o que acontece dentro de uma rede neural?
Pistas sérias
Por que isso importa
Entender o que acontece dentro das redes neurais poderia dar mais garantias sobre como os sistemas de IA vão se comportar, e lançar luz sobre questões científicas sobre a natureza da inteligência.
O que sabemos
Conseguimos isolar conceitos e circuitos internos em grandes modelos de linguagem.
O que nos trava
Os modelos são enormes, e cada neurônio mistura vários conceitos.
Pistas atuais
Dicionários de características, rastreamento de circuitos, ferramentas de análise automatizada.
Subperguntas
O que exatamente conta como uma 'característica', ou conceito, dentro de uma rede neural?
Como podemos verificar que uma explicação do que uma rede está fazendo é realmente correta?
O trabalho de entender modelos de IA pode ser automatizado e mantido acessível à medida que os modelos continuam crescendo?