Comparação da Precisão na Busca de Dados Bibliográficos Entre Diferentes Grandes Modelos de Linguagem na Medicina

Resumo

Os grandes avanços da inteligência artificial (IA) provocaram mudanças em todas as áreas da ciência e tecnologia. A criação dos Grandes Modelos de Linguagem, também chamado de Large Language Models (LLMs), popularizou a inteligência artificial entre diferentes públicos. Essas ferramentas permitem o acesso fácil em comparação com os sistemas tradicionais, visto que a comunicação entre o homem e o computador é feita através da linguagem comum. Por isso, ganhou repercussão entre estudantes, por exemplo, através do auxílio em trabalhos acadêmicos. Contudo, pesquisas mostraram que existe o risco dos LLMs fornecerem informações erradas aos usuários, o que pode comprometer a qualidade dos trabalhos baseados na inteligência artificial. Além disso, trabalhos pilotos mostraram que na busca por dados bibliográficos no campo da medicina, muitos resultados também eram imprecisos ou fantasiosos. Nesse contexto, é mandatório vigiar a qualidade desses sistemas, o que pode ser feito perguntas padronizadas (prompts) aplicadas repetidamente em 5 Grandes Modelos de Linguagem (ChatGPT 3.5; ChatGPT 4o, Copilot, Consensus e Gemini).Trata-se de 50 perguntas que serão aplicadas sobre a bibliografia da produção científica de pesquisadores na área na Doença de Chagas após uma escolha aleatória. As respostas serão minuciosamente comparadas com a produção bibliográfica real como documentada no Clarivate´s, Web of Science e Google Acadêmico. Posteriormente, a qualidade da resposta será categorizada em: correta, erros menores, erros maiores e alucinação. Sendo o último termo aplicado quando o título não existe ou, quando existente, é atribuído erroneamente ao autor em questão. Em seguida, será comparado quantitativamente as diferenças entre os variados LLMs e as respostas entre duas distintas chamadas no mesmo chatbot, com intervalo mínimo de 6 meses. Em vista disso, o trabalho pode dar informações relevantes para os usuários no campo da medicina e permite selecionar os Grandes Modelos de Linguagem menos problemáticos para pesquisa bibliográfica.