| Texto completo | |
| Autor(es): |
Garcia, Gabriel Lino
;
Ribeiro Manesco, Joao Renato
;
Paiola, Pedro Henrique
;
Crespan Ribeiro, Pedro Henrique
;
Alves Garcia, Ana Lara
;
Papa, Joao Paulo
Número total de Autores: 6
|
| Tipo de documento: | Artigo Científico |
| Fonte: | 2025 IEEE 38TH INTERNATIONAL SYMPOSIUM ON COMPUTER-BASED MEDICAL SYSTEMS, CBMS; v. N/A, p. 6-pg., 2025-01-01. |
| Resumo | |
The application of large language models in healthcare presents unique challenges, particularly in non-English contexts where linguistic and cultural nuances significantly impact model effectiveness. In this work, we introduce a novel benchmark for evaluating medical language models in Brazilian Portuguese, addressing a critical gap in AI assessment for healthcare applications. This benchmark is built upon Brazilian medical aptitude tests spanning 2011-2024, enabling extensive evaluation of both specialist and general large language models. Our findings demonstrate that despite advancements in language model capabilities, significant gaps remain in their ability to reason effectively about medical knowledge in Brazilian Portuguese. This benchmark establishes a proper foundation for evaluating and advancing medical language models in Portuguese, creating a standardized framework to guide development toward more effective, equitable, and culturally appropriate AI systems for healthcare in Brazil. (AU) | |
| Processo FAPESP: | 24/01336-7 - Validação de Re-identificação de Pacientes utilizando Aprendizado Profundo e Técnicas Adversariais |
| Beneficiário: | Maurício José Grapéggia Zanella |
| Modalidade de apoio: | Bolsas no Brasil - Iniciação Científica |
| Processo FAPESP: | 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria |
| Beneficiário: | Francisco Louzada Neto |
| Modalidade de apoio: | Auxílio à Pesquisa - Centros de Pesquisa, Inovação e Difusão - CEPIDs |
| Processo FAPESP: | 19/07665-4 - Centro de Inteligência Artificial |
| Beneficiário: | Fabio Gagliardi Cozman |
| Modalidade de apoio: | Auxílio à Pesquisa - Programa eScience e Data Science - Centros de Pesquisa Aplicada |
| Processo FAPESP: | 23/14427-8 - Ciência de Dados para a Indústria Inteligente (CDII) |
| Beneficiário: | José Alberto Cuminato |
| Modalidade de apoio: | Auxílio à Pesquisa - Programa Centros de Pesquisa Aplicada |
| Processo FAPESP: | 24/00789-8 - Detecção Invariante à Domínio de Aparatos Médicos em Imagens de Radiografias Simples do Tórax |
| Beneficiário: | João Renato Ribeiro Manesco |
| Modalidade de apoio: | Bolsas no Brasil - Doutorado |