Alucinação
Quando uma ferramenta de IA apresenta uma informação falsa ou inventada como se fosse verdadeira, muitas vezes com um texto bem convincente.
No mundo da IA, alucinação não tem nada a ver com ver elefante cor-de-rosa. É o nome dado a quando a ferramenta responde algo errado ou simplesmente inventado, mas com a maior cara de verdade.
Acontece, por exemplo, quando você pede a um chatbot o nome de um livro sobre determinado assunto e ele entrega título, autor e ano de um livro que não existe. Ou quando um resumo de reportagem traz detalhes que não estavam no texto original. O Google Cloud cita até casos de links para páginas da web que nunca existiram.
Por que isso acontece? Um modelo de linguagem foi treinado para produzir o texto mais provável, não para checar fatos. Se faltam dados sobre o assunto, se os dados de treinamento tinham erros ou se a pergunta pede algo que ele não sabe, ele pode preencher o buraco com algo que “soa certo”. É aquele conhecido que nunca diz “não sei” e prefere chutar com convicção.
O perigo é justamente a convicção: o texto vem bem escrito, organizado, sem gaguejar. Por isso o erro passa despercebido.
Como se proteger:
- desconfie de nomes, números, datas, citações e links que você não conhece;
- peça a fonte e abra a fonte (não basta a ferramenta dizer que existe);
- em assuntos sérios, como saúde, dinheiro e questões jurídicas, confirme com fontes oficiais ou com um profissional.
A IA ajuda muito no rascunho. A conferência continua sendo trabalho de gente.