Alucinação de IA: por que a máquina inventa com tanta confiança

A alucinação de IA acontece porque o sistema foi treinado para produzir a continuação mais plausível de um texto, não a mais verdadeira. Plausível e verdadeiro coincidem na maior parte do tempo, já que o material de treino é majoritariamente texto correto. Quando não coincidem — pergunta obscura, dado inexistente, detalhe que ninguém publicou — a máquina não trava: ela entrega o que tem a melhor cara de resposta. A confiança no tom não mede nada, porque o tom também é resultado da mesma otimização por plausibilidade.

O que a maioria dos textos sobre o tema erra é tratar isso como bug a ser eliminado na próxima versão. Não é. É o comportamento esperado de um sistema que modela forma de linguagem e não tem acesso independente aos fatos. Aqui eu quero mostrar o mecanismo em detalhe, separar os tipos de erro, explicar por que referências falsas são o caso mais comum de todos e listar o que reduz o problema na prática — com a advertência de que reduzir não é zerar.

Deserto plano com montanhas ao fundo
Foto de Mathieu Perrier no Unsplash (licença livre para uso).

O nome “alucinação” atrapalha mais do que ajuda

Alucinar, em português, é perceber algo que não está lá. O termo sugere um desvio do funcionamento normal, um episódio. Não é o caso. O mesmo processo que produz a resposta certa produz a resposta inventada, com os mesmos cálculos e a mesma segurança aparente.

Também não é mentira. Mentir exige saber a verdade e escolher dizer outra coisa. Não há aqui nenhuma representação separada de “o que é verdade” para ser contrariada. Há um cálculo de continuação provável.

A descrição mais honesta seria algo como “erro de confabulação”: o sistema preenche uma lacuna com material coerente com o entorno, como faz a memória humana quando reconstrói uma cena e acrescenta detalhes que nunca existiram. A diferença é que nós, às vezes, sentimos a incerteza. Ele não sente nada.

O mecanismo: otimizar plausibilidade não é otimizar verdade

Durante o treino, o sinal que ajusta o sistema é sempre o mesmo: o pedaço de texto que ele previu bateu com o pedaço que estava lá? Nunca existe uma etapa em que alguém verifica se a afirmação corresponde ao mundo. A recompensa é casar com o padrão do texto.

Isso cria uma competência específica e perigosa: o domínio do formato. O sistema sabe como é uma referência acadêmica, como é um número de processo, como é a ementa de um acórdão, como é a bula de um remédio, como é um endereço. Formato é padrão puro, e padrão é justamente o que ele aprende melhor.

Quando o conteúdo específico não está disponível, o formato continua disponível. A saída, então, é um objeto com anatomia perfeita e conteúdo vazio. É o equivalente textual de uma nota fiscal impressa com fonte certa, numeração certa, layout certo e uma compra que nunca aconteceu.

Por que ela não diz que não sabe

Três razões se somam, e nenhuma delas é má-fé.

A primeira é que não existe um medidor interno de conhecimento. O sistema calcula probabilidade sobre o próximo pedaço de texto, não sobre a veracidade de uma proposição. Uma frase falsa pode ter altíssima probabilidade linguística. Confiança de forma não é confiança de fato.

A segunda é estatística do material de origem. Textos publicados quase nunca dizem “não sei”. Artigos, manuais, fóruns e livros são escritos por gente que decidiu escrever porque achava que sabia. A distribuição do treino é pobre em admissão de ignorância, então admitir ignorância é uma continuação rara.

A terceira é a fase de treino baseada em preferência humana. Avaliadores comparam respostas e tendem a preferir a que entrega algo. Uma resposta completa e útil ganha de uma recusa cautelosa na maioria das comparações. O sistema aprende a lição: arriscar paga melhor do que se abster.

É a mesma lógica de uma prova de múltipla escolha sem desconto por erro. Chutar é estratégia dominante. A diferença é que, na prova, todo mundo sabe que aquilo é chute.

Os tipos de alucinação de IA que aparecem na prática

Tratar tudo como uma coisa só atrapalha a defesa. Os erros têm naturezas diferentes e exigem cuidados diferentes:

  • Fabricação de entidade. Um artigo, livro, lei, empresa, produto ou pessoa que simplesmente não existe, apresentado com nome completo e detalhes.
  • Atribuição errada. A entidade existe, mas o que foi dito sobre ela pertence a outra. Frase real de autor errado, dispositivo real de lei errada.
  • Detalhe inventado dentro de algo verdadeiro. O caso mais traiçoeiro: parágrafo majoritariamente correto com um ano, um cargo ou um valor trocado no meio.
  • Extrapolação de mecanismo. O sistema deduz como algo deveria funcionar por analogia com casos parecidos e apresenta a dedução como descrição. Comum em funcionalidades de software e em procedimentos administrativos.
  • Infidelidade à fonte. Com um documento anexado, o sistema resume acrescentando conclusões que o documento não tem, ou suaviza o que ele diz.
  • Invenção de uso de ferramenta. Em sistemas que fazem busca ou executam código, a descrição do que foi feito nem sempre corresponde ao que foi feito.

Por que referência bibliográfica e processo judicial são o caso clássico

Existe um motivo estrutural para os exemplos mais famosos de constrangimento envolverem citação acadêmica e jurisprudência, e não receita de bolo.

Esses objetos têm forma altamente regular e conteúdo altamente disperso. Sobrenome, iniciais, ano entre parênteses, título, periódico, volume, páginas. Ou o padrão de autuação, sigla do tribunal, relator, data de julgamento. A forma é decorável em minutos; a lista real de itens é imensa, mudou depois do treino e nunca esteve inteira em lugar nenhum.

Pior: os componentes são combináveis. Autores reais que publicam naquele tema, periódicos reais que publicam naquele tema, títulos montados com as palavras que aparecem em títulos daquele tema. O resultado é uma citação que passa em qualquer inspeção visual e falha na primeira busca real.

O agravante é social. Uma citação com essa aparência dispensa checagem aos olhos de muita gente, justamente porque citar é o gesto de quem já checou. O formato carrega uma promessa de verificação que ali não foi cumprida.

Onde o risco é maior e onde é quase nulo

Tipo de pedidoRisco de invençãoPor quê
Reescrever ou resumir texto que você forneceuBaixoO conteúdo está na entrada; não há lacuna para preencher
Explicar um conceito amplamente documentadoBaixo a médioMuita repetição no treino estabiliza a resposta
Pedir números, datas, valores e percentuaisAltoDados precisos são pouco redundantes e envelhecem
Pedir fontes, citações e referênciasMuito altoForma regular somada a conteúdo disperso
Perguntar sobre pessoa ou empresa pouco conhecidaMuito altoPouca ou nenhuma informação real disponível
Pedir detalhes de produto, versão ou menu de softwareAltoInterfaces mudam mais rápido que o treino
Homem discursando diante de uma plateia
Foto de Miguel Henriques no Unsplash (licença livre para uso).

O que reduz alucinação de verdade

Em ordem de eficácia, do que mais funciona para o que menos funciona:

  1. Colocar a fonte dentro do pedido. Cole o texto, anexe o documento, forneça os dados. A tarefa deixa de ser lembrar e passa a ser ler. É a diferença entre prova de memória e prova com consulta.
  2. Exigir trecho literal antes da conclusão. Peça que cada afirmação venha acompanhada da citação exata do documento que a sustenta. Se o trecho não existe no material, a ausência fica visível.
  3. Usar busca conectada e conferir o que ela trouxe. Ajuda muito, e desloca o problema: agora o risco é a fonte ruim e o resumo infiel. Continue abrindo os links.
  4. Autorizar a recusa explicitamente. Dizer que responder “não está no material” é resposta aceitável muda o cálculo de custo da abstenção.
  5. Restringir o escopo. Pergunta estreita e concreta tem menos espaço para preenchimento criativo do que pergunta panorâmica.
  6. Repetir a pergunta em conversa limpa e comparar. Onde as respostas divergem, há instabilidade. Divergência é sinal de invenção; convergência não é prova de acerto.
  7. Perguntar de novo se tem certeza. Funciona pouco e pode piorar: o sistema tende a ceder à pressão social do pedido e trocar uma resposta certa por uma errada.

Por que isso nunca chega a zero

Há um limite que não é de engenharia, é de natureza do problema. Um sistema que gera linguagem a partir de padrões precisa produzir alguma saída para qualquer entrada. Quando a informação necessária não existe nos parâmetros nem na entrada, as opções são inventar ou se abster — e um sistema calibrado para nunca inventar se abstém demais, inclusive quando sabe.

Existe um par que não dá para separar: quanto mais cauteloso, menos útil; quanto mais útil, mais arriscado. Os fabricantes escolhem um ponto nessa curva. Não existe ponto sem erro.

Além disso, o mundo muda depois do treino e continua mudando depois da busca. Preços, cargos, regras, endereços e versões têm validade. Um sistema pode estar descrevendo com precisão um estado do mundo que deixou de valer ontem.

A pergunta útil não é se o sistema erra. É se o erro dele, no seu caso de uso, é barato de detectar.

Como conferir sem perder o tempo que você economizou

Checar tudo anula o ganho. A saída é checar seletivamente, por classe de risco. Nomes próprios, números, datas, citações e qualquer afirmação que vá embasar decisão entram na fila de verificação. Estrutura, redação, organização e explicação de conceito estabelecido não precisam do mesmo rigor.

Existe um teste barato que resolve a maior parte dos casos: pegue o item mais específico da resposta e procure por ele diretamente na fonte primária. Se a referência não aparece na base do periódico, se o processo não aparece no site do tribunal, se a cláusula não aparece no contrato que você tem em mãos, o resto da resposta perde crédito por inteiro.

E vale uma regra de ofício: nunca assine como seu um texto cuja verificação você não fez. A responsabilidade não se transfere para a ferramenta, e o constrangimento, quando vem, é sempre de quem apertou enviar.

Perguntas frequentes

Modelos maiores alucinam menos?

Em geral acertam mais em conhecimento comum, então a frequência cai. Mas os erros que sobram ficam mais difíceis de detectar, porque vêm melhor escritos e mais bem encaixados no contexto. Menos erros e erros mais caros podem andar juntos.

Dá para o próprio sistema avisar quando está inventando?

Só parcialmente. Existem sinais internos correlacionados com incerteza, e alguns produtos os usam para hesitar mais. Mas isso não vira uma garantia: um erro confiante é, por definição, um caso em que o sinal falhou.

Pedir para citar a fonte resolve?

Resolve se a fonte foi fornecida ou recuperada por busca e você abre o que foi citado. Pedir fonte a um sistema que responde de memória apenas transfere o problema para outro lugar: agora a citação também pode ser inventada.

Em português o problema é maior?

Tende a ser, por um motivo simples: há menos material em português no treino, principalmente em temas técnicos, jurídicos e locais. Menos redundância significa lacunas mais frequentes, e lacuna é onde a invenção mora.

Se eu não posso confiar, para que serve?

Para o enorme conjunto de tarefas onde conferir é mais barato que fazer: rascunhar, reorganizar, traduzir, extrair dados de um documento que você tem, explicar de outro jeito. O erro é caro quando vira resposta final sem revisão, não quando vira ponto de partida.

Talvez o hábito mais útil seja este: trate qualquer afirmação específica que saiu de um chat como trate uma informação ouvida de um desconhecido simpático e bem informado numa fila de banco. Provavelmente está certo. E você não assinaria nada com base nisso.

Leia também: É por isso que, em usos críticos, a IA trabalha presa a regras e auditoria, como mostra o caso da validação de documentos que virou gargalo nas empresas.

Compartilhar este texto
WhatsAppXLinkedInE-mail