Até que ponto modelos grande de linguagem podem avaliar a idoneidade de trabalhos publicados nas ciências biomédicas

Resumo

O número de trabalhos científicos despublicados está aumentando consideravelmente na ciência em geral. É obvio, que trabalhos retratados não podem servir como base para desenhar novos estudos científicos ou para interpretar dados. Infelizmente, a retratação de um documento pode ocorrer muito tempo depois da sua publicação, e usualmente muitos pesquisadores não tomam conhecimento da despublicação. Portanto, é mandatório que cientistas chequem com frequência a validade dos artigos de sua biblioteca científica pessoal, este processo é demorado e tedioso, e por conseguinte, não é feito com rigor. Neste contexto, o uso de LLMs (large language models) poderia ser uma ajuda importante. Estudos anteriores, porém, demonstraram falhas destes sistemas em quantidade muito maior do que o esperado, segundo a propaganda dos LLMs. Queremos testar a fidedignidade da avaliação da suposta retratação de trabalhos científicos criando um conjunto de quinhentas referências bibliográficas realmente existentes. A metade representa publicações posteriormente despublicadas e 250 artigos não retratados, os últimos com nomes presentes também no grupo dos retratados. Compararemos o desempenho de diferentes LLMs em relação à porcentagem dos documentos retratados, mas não reconhecidos como tal, e em relação à porcentagem de trabalhos não retratados, mas falsamente acusados como despublicados. Repetiremos estas análises após 3 e 6 meses com o intuito de detectar possíveis melhorias ou pioras dos comportamentos dos LLMs