Arquiteturas transformers profundas e bidirecionais para descoberta de conhecimento latente em artigos médicos sobre Leucemia Mieloide Aguda

• Processo: 22/07236-9
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Iniciação Científica
• Vigência (Início): 01 de setembro de 2022
• Vigência (Término): 10 de dezembro de 2022
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Tiago Agostinho de Almeida
• Beneficiário: Matheus Vargas Volpon Berto
• Supervisor: Carolina Evaristo Scarton
• Instituição Sede: Centro de Ciências em Gestão e Tecnologia (CCGT). Universidade Federal de São Carlos (UFSCAR). Campus de Sorocaba. Sorocaba , SP, Brasil
• Local de pesquisa: University of Sheffield, Inglaterra
• Vinculado à bolsa: 21/13054-8 - Descoberta de conhecimento latente em artigos médicos sobre Leucemia mieoloide aguda, BP.IC
• Assunto(s): Redes neurais (computação) Aprendizado computacional Processamento de linguagem natural Inteligência artificial Análise de texto
• Palavra(s)-Chave do Pesquisador: Bidirectional Language Models | Language Models | machine learning | natural language processing | Inteligência Artificial

Resumo

O volume de informações produzidas e acessadas através da Internet é grande e crescente. Consequentemente, a quantidade de informações disponíveis em artigos científicos segue a mesma tendência, tornando inviável a análise manual de todo o conteúdo existente. Várias estratégias e arquiteturas de redes neurais artificiais surgiram para representar textos utilizando vetores densos, chamados de wordvectors. Estas técnicas estão em contínua evolução e são capazes de processar conjuntos cada vez mais significativos de textos com menos recursos computacionais. Elas permitem o treinamento de enormes modelos de representação de textos para domínios específicos do conhecimento, como é o caso do PubMedBERT. Utilizando um grande conjunto de textos de uma única área, o modelo pode capturar melhor as relações entre as palavras. Recentemente, ao criar modelos de representação a partir de prefácios de artigos científicos na ciência dos materiais, Tshitoyan et al. (2019) observaram que o conhecimento de certas relações entre elementos estava latente. Além disso, eles demonstraram que algumas relações encontradas nos textos foram descobertas apenas anos antes. Neste contexto, este projeto de pesquisa propõe extrair vetores de palavras de artigos científicos sobre uma doença específica para capturar e analisar se é possível obter conhecimentos latentes que possam acelerar a descoberta de novos diagnósticos, prognósticos e tratamentos. (AU)