Comparação da Precisão na Busca de Dados Bibliográficos Entre Diferentes Grandes Modelos de Linguagem na Medicina

• Processo: 25/00568-4
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de março de 2025
• Data de Término da vigência: 28 de fevereiro de 2026
• Área de conhecimento: Ciências da Saúde - Medicina - Anatomia Patológica e Patologia Clínica
• Pesquisador responsável: Konradin Metze
• Beneficiário: Maria Fernanda de Ávila Reis
• Instituição Sede: Faculdade de Ciências Médicas (FCM). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Empresa: Universidade Estadual de Campinas (UNICAMP). Faculdade de Engenharia Elétrica e de Computação (FEEC)
• Vinculado ao auxílio: 20/09838-0 - BI0S - Brazilian Institute of Data Science, AP.PCPE
• Assunto(s): Alucinações Bibliografias Inteligência artificial Patologia
• Palavra(s)-Chave do Pesquisador: Alucinações | Bibliografia | Chat GPT | Grandes Modelos de Linguagem | Inteligência Artificial | Patologia

Resumo

Os grandes avanços da inteligência artificial (IA) provocaram mudanças em todas as áreas da ciência e tecnologia. A criação dos Grandes Modelos de Linguagem, também chamado de Large Language Models (LLMs), popularizou a inteligência artificial entre diferentes públicos. Essas ferramentas permitem o acesso fácil em comparação com os sistemas tradicionais, visto que a comunicação entre o homem e o computador é feita através da linguagem comum. Por isso, ganhou repercussão entre estudantes, por exemplo, através do auxílio em trabalhos acadêmicos. Contudo, pesquisas mostraram que existe o risco dos LLMs fornecerem informações erradas aos usuários, o que pode comprometer a qualidade dos trabalhos baseados na inteligência artificial. Além disso, trabalhos pilotos mostraram que na busca por dados bibliográficos no campo da medicina, muitos resultados também eram imprecisos ou fantasiosos. Nesse contexto, é mandatório vigiar a qualidade desses sistemas, o que pode ser feito perguntas padronizadas (prompts) aplicadas repetidamente em 5 Grandes Modelos de Linguagem (ChatGPT 3.5; ChatGPT 4o, Copilot, Consensus e Gemini).Trata-se de 50 perguntas que serão aplicadas sobre a bibliografia da produção científica de pesquisadores na área na Doença de Chagas após uma escolha aleatória. As respostas serão minuciosamente comparadas com a produção bibliográfica real como documentada no Clarivate´s, Web of Science e Google Acadêmico. Posteriormente, a qualidade da resposta será categorizada em: correta, erros menores, erros maiores e alucinação. Sendo o último termo aplicado quando o título não existe ou, quando existente, é atribuído erroneamente ao autor em questão. Em seguida, será comparado quantitativamente as diferenças entre os variados LLMs e as respostas entre duas distintas chamadas no mesmo chatbot, com intervalo mínimo de 6 meses. Em vista disso, o trabalho pode dar informações relevantes para os usuários no campo da medicina e permite selecionar os Grandes Modelos de Linguagem menos problemáticos para pesquisa bibliográfica.