Até que ponto modelos grande de linguagem podem avaliar a idoneidade de trabalhos publicados nas ciências biomédicas

• Processo: 25/03746-0
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de maio de 2025
• Data de Término da vigência: 30 de abril de 2026
• Área de conhecimento: Ciências da Saúde - Medicina
• Pesquisador responsável: Konradin Metze
• Beneficiário: Matheus da Silva Fago
• Instituição Sede: Faculdade de Ciências Médicas (FCM). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Assunto(s): Alucinações Inteligência artificial
• Palavra(s)-Chave do Pesquisador: Alucinações | Despublicação | Grandes Modelos de Linguagem | Inteligência Artificial | LLMs | Inteligência Artificial

Resumo

O número de trabalhos científicos despublicados está aumentando consideravelmente na ciência em geral. É obvio, que trabalhos retratados não podem servir como base para desenhar novos estudos científicos ou para interpretar dados. Infelizmente, a retratação de um documento pode ocorrer muito tempo depois da sua publicação, e usualmente muitos pesquisadores não tomam conhecimento da despublicação. Portanto, é mandatório que cientistas chequem com frequência a validade dos artigos de sua biblioteca científica pessoal, este processo é demorado e tedioso, e por conseguinte, não é feito com rigor. Neste contexto, o uso de LLMs (large language models) poderia ser uma ajuda importante. Estudos anteriores, porém, demonstraram falhas destes sistemas em quantidade muito maior do que o esperado, segundo a propaganda dos LLMs. Queremos testar a fidedignidade da avaliação da suposta retratação de trabalhos científicos criando um conjunto de quinhentas referências bibliográficas realmente existentes. A metade representa publicações posteriormente despublicadas e 250 artigos não retratados, os últimos com nomes presentes também no grupo dos retratados. Compararemos o desempenho de diferentes LLMs em relação à porcentagem dos documentos retratados, mas não reconhecidos como tal, e em relação à porcentagem de trabalhos não retratados, mas falsamente acusados como despublicados. Repetiremos estas análises após 3 e 6 meses com o intuito de detectar possíveis melhorias ou pioras dos comportamentos dos LLMs