Grandes modelos de linguagem como o GPT-4o produzem sistematicamente citações bibliográficas falsas e inventadas em textos científicos sobre saúde mental. É o que mostra um estudo experimental recente, publicado hoje no periódico de acesso aberto JMIR Mental Health.
Uma equipe de pesquisa australiano-canadense liderada pelo Dr. Jake Linardon, da Deakin University, pediu ao GPT-4o para escrever seis revisões de literatura realistas sobre diferentes transtornos mentais – cada uma com lista de referências completa e informações de DOI. Os temas variavam desde depressão grave, que é muito bem pesquisada, até transtorno de compulsão alimentar e o transtorno dismórfico corporal, que é significativamente menos estudado. Além disso, os cientistas variaram se o modelo deveria produzir uma visão geral ou uma questão altamente especializada (por exemplo, abordagens de terapia digital).
O resultado é desanimador: de 437 referências geradas, 19,9% eram completamente inventadas – título, autores e DOI não existiam em lugar nenhum. Outros 45,4% continham erros graves, principalmente DOIs inválidos ou incorretamente atribuídos. No total, quase dois terços de todas as citações de IA eram inutilizáveis.
Particularmente notável: quanto mais desconhecido ou especializado o tópico, maior a taxa de erro. Para depressão grave, a taxa de invenção pura foi de apenas 6%, para transtorno de compulsão alimentar já era de 28% e para transtorno dismórfico corporal, de 29%. Tarefas com escopo mais restrito também levaram a alucinações com frequência significativamente maior do que questões de visão geral ampla.
Os pesquisadores alertam que tais referências fantasmas comprometem massivamente a rastreabilidade e a confiabilidade de trabalhos científicos. Nos últimos dois anos, inúmeros periódicos científicos já tiveram que retratar artigos porque ficou claro posteriormente que grandes partes das citações bibliográficas provinham de IA e simplesmente não existiam.
O estudo, portanto, formula exigências claras:
- Cada referência gerada por IA deve ser verificada manualmente.
- As editoras devem introduzir verificações automáticas de DOI que identifiquem imediatamente citações não encontradas.
- Universidades e instituições de pesquisa precisam de diretrizes vinculativas e treinamento sobre o uso responsável de IA generativa.
- Em trabalhos de conclusão de curso e publicações, deve ser indicado se a IA foi utilizada para pesquisa bibliográfica.
Os autores enfatizam explicitamente que não querem demonizar a IA. Grandes modelos de linguagem são ferramentas valiosas para pesquisas iniciais, rascunhos de texto ou geração de ideias. No entanto, para listas de referências, atualmente não há alternativa ao controle humano de 100%.
O estudo completo foi publicado em acesso aberto (JMIR Ment Health 2025;12:e80371, doi: 10.2196/80371). Se modelos mais recentes como OpenAI o3 ou Claude 3.7 já lidam melhor com o problema, permanece em aberto – no entanto, os primeiros testes de outros grupos de trabalho sugerem que alucinações de citações continuam a ocorrer também lá.
