Perguntas
Tecnologia
A IA sempre vai inventar coisas?
O treino e as avaliações podem incentivar modelos de linguagem a inventar respostas em vez de admitir que não sabem, segundo um estudo publicado na Nature. Um preprint apresenta uma prova de que nenhum modelo de linguagem consegue eliminar essas invenções, mas o resultado depende das hipóteses do artigo.

Por que importa
A forma de avaliar a IA importa: premiar o chute pode favorecer respostas inventadas. Também é possível medir erros em tarefas específicas, como faz o ranking da Vectara ao verificar se resumos incluem algo que não estava no texto original.
O que a pesquisa mostra
- Um preprint apresenta uma prova matemática de que, sob as hipóteses do artigo, nenhum modelo de linguagem consegue eliminar a alucinação.Hallucination is Inevitable: An Innate Limitation of Large Language Models · Ziwei Xu, Sanjay Jain, Mohan Kankanhalli, arXiv, 2024
- Um estudo publicado na Nature argumenta que o treino e as avaliações recompensam o chute, fazendo inventar uma resposta valer mais pontos do que dizer que não sabe.Evaluating large language models for accuracy incentivizes hallucinations · Adam Tauman Kalai et al., Nature 653, 1047–1051, 2026
- O ranking da Vectara aplica o mesmo teste a todos os modelos para medir a parcela de resumos com informações inventadas que não estavam no texto original.Hallucination Leaderboard (HHEM-2.3) · Vectara, atualizado em 22 out. 2026, 2026
O que eu faria
Eu recomendo, ao ampliar o uso da IA, medir os erros, conferir as fontes e exigir que ela admita quando não sabe e encaminhe a questão a uma pessoa.
Por que eu penso assim:
- “IA sem avaliação é aposta: meça antes de prometer.” de onde vem
- “Dá para confiar na IA, mas verificando.”
- “Uma IA séria fala só o que sabe, mostra de onde tirou, diz quando não sabe e chama uma pessoa.” de onde vem
Também perguntam
- Por que a IA alucina?
- Dá para confiar nas respostas da IA?
