Se o ChatGPT e outras inteligências artificiais generativas puderem produzir artigos científicos que pareçam autênticos – especialmente para alguém que não atua nessa área de pesquisa – qual é a melhor maneira de descobrir quais deles são falsos?
Ahmed Abdeen Hamed, um pesquisador visitante na Binghamton University, State University of New York, desenvolveu um algoritmo de aprendizado de máquina que ele chama de xFakeSci, que pode detectar até 94% de artigos falsos – quase o dobro do sucesso dos métodos comuns de mineração de dados.
“Minha principal área de pesquisa é a bioinformática, mas como trabalho com publicações médicas, ensaios clínicos, recursos online e análise de mídias sociais, sempre me preocupo com a autenticidade do conhecimento que alguém está espalhando”, disse Hamed, que faz parte do Laboratório de Sistemas Adaptativos Complexos e Inteligência Computacional de Luis M. Rocha, professor George J. Klir de Ciências de Sistemas. “Artigos biomédicos, em particular, foram muito afetados durante a pandemia global porque algumas pessoas publicaram resultados de pesquisa falsos.”
Em um novo artigo publicado na revista Scientific Reports, Hamed e seu colaborador Xindong Wu, professor da Hefei University of Technology na China, criaram 50 artigos falsos sobre três tópicos médicos populares – Alzheimer, câncer e depressão – e os compararam com o mesmo número de artigos reais sobre os mesmos tópicos.
Quando pedi ao ChatGPT os artigos gerados por IA, Hamed disse: “Tentei usar as mesmas palavras-chave que usei para extrair a literatura do banco de dados PubMed dos [National Institutes of Health], para que tivéssemos uma base comum de comparação. Minha intuição era que deve haver um padrão que ocorra no mundo falso em comparação com o mundo real, mas eu não tinha ideia de que tipo de padrão era.”
Após algumas experiências, ele programou o xFakeSci para analisar duas características importantes do texto. Uma é a contagem de bigramas, que são pares de palavras que ocorrem com frequência juntas, como “mudanças climáticas”, “ensaios clínicos” ou “literatura biomédica”. A segunda é como esses bigramas se conectam a outras palavras e conceitos no texto.
“A primeira coisa que notei foi que a contagem de bigramas era muito baixa no mundo falso, mas os bigramas eram muito mais ricos no mundo real”, disse Hamed. “Além disso, os bigramas no mundo falso estavam tão intimamente conectados a tudo mais, apesar de serem poucos.”
Hamed e Wu suspeitam que os estilos de escrita diferem porque pesquisadores humanos não perseguem os mesmos objetivos que IAs que são solicitadas a escrever sobre um tópico específico.
“Como o ChatGPT tem conhecimento limitado, ele tenta convencê-lo com as palavras mais importantes”, disse Hamed. “Não cabe a um cientista fornecer a você um argumento convincente. Um artigo de pesquisa real relata honestamente o que aconteceu em um experimento e qual método foi usado. O ChatGPT foca na profundidade de um único ponto, enquanto a ciência real foca na amplitude”.
Para desenvolver ainda mais o xFakeSci, Hamed planeja expandir o escopo de tópicos para ver se os padrões de palavras reveladores se aplicam a outras áreas de pesquisa, indo além da medicina para incluir engenharia, outros tópicos científicos e humanidades. Ele também assume que a IA se tornará cada vez mais sofisticada, tornando cada vez mais difícil distinguir o que é real e o que não é.
“Teremos que estar sempre correndo atrás, a menos que desenvolvamos algo abrangente”, disse ele. “Ainda temos muito trabalho pela frente para procurar um padrão geral ou um algoritmo universal que não dependa de qual versão da IA generativa está sendo usada.
Porque mesmo que seu algoritmo intercepte 94% dos artigos gerados por IA, isso significa que seis em cada 100 falsificações ainda passam: “Temos que ser humildes sobre o que conquistamos. Fizemos algo muito importante ao aumentar a conscientização sobre isso”.
DOI
