Recuperação Aumentada e Robusta para Tarefas de Inferência em Linguagem Natural utilizando Modelos baseados em Transformers

• Processo: 24/04890-5
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de janeiro de 2025
• Data de Término da vigência: 31 de dezembro de 2028
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação
• Pesquisador responsável: Daniel Carlos Guimarães Pedronette
• Beneficiário: Daniel Carlos Guimarães Pedronette
• Pesquisador Responsável no exterior: Andre do Nascimento Freitas
• Instituição Parceira no exterior: Idiap Research Institute, Suíça
• Instituição Sede: Instituto de Geociências e Ciências Exatas (IGCE). Universidade Estadual Paulista (UNESP). Campus de Rio Claro. Rio Claro , SP, Brasil
• Pesquisadores associados: Ivan Rizzo Guilherme ; João Paulo Papa ; Jonas Felipe Pereira de Queiroz
• Bolsa(s) vinculada(s): 25/03917-0 - Análise Comparativa de Métodos de Ranqueamento Contextual para Recuperação Textual, BP.TT; 25/01118-2 - Modelos de Ranqueamento Contextuais para Inferência em Linguagem Natural Aumentada por Recuperação, BP.PD
• Palavra(s)-Chave do Pesquisador: natural language inference | retrieval | Processamento de Linguagem Natural e Recuperação da Informação

Resumo

Grandes Modelos de Linguagem (LLMs) surgiram como modelos universais para compreensão e inferência de linguagem. Para operarem de forma factual, esses modelos precisam ser fornecidos com um contexto factual relevante associado. A Geração com Recuperação Aumentada (RAG) tornou-se o mecanismo arquitetônico complementar que permite aos LLMs operarem de maneira factual, no qual uma etapa de recuperação entrega os fatos associados relevantes dentro de uma tarefa específica. No entanto, há uma desconexão entre o desempenho dos modelos de recuperação, que são fundamentados em incorporações textuais (comparativamente menor granularidade semântica e desempenho), e a capacidade dos LLMs de interpretar e operar sobre esses resultados (maior desempenho). Como resultado, os LLMs estão atualmente limitados ao desempenho comparativamente inferior das RAGs. Além disso, as tarefas de recuperação textual tendem a ser baseadas na noção de similaridade entre sentenças/passagens, em que se assume que a consulta é textualmente similar ao texto alvo a ser recuperado. Em cenários de aplicação que envolvem raciocínio baseado em evidências do mundo real (por exemplo, em ciência, formulação de políticas), existem desafios de interpretação que se somam à menor granularidade semântica dos modelos RAG, a saber: (i) lacuna de abstração: abstração e lacuna semântica entre a intenção da consulta (como a necessidade de informação é expressa pelo usuário final) e a maneira como a evidência é expressa no corpus de referência; (ii) especificidade de domínio: o raciocínio baseado em evidências é principalmente relevante em domínios especializados, exigindo o conhecimento de fundo e especialização associados; (iii) raciocínio quantitativo e qualitativo conjunto: onde uma parte significativa do raciocínio baseado em evidências requer inferência tanto baseada em linguagem quanto quantitativa/numérica, sobre fontes de dados textuais e tabulares. Esses gargalos impedem a ampla aplicação dos LLMs para apoiar o raciocínio baseado em evidências dentro de domínios de aplicação de alto impacto, como descoberta de medicamentos, design de ensaios clínicos, formulação de políticas, verificação de fatos, inteligência investigativa, entre outras áreas. A complexidade de extrair sentido a partir do crescente número de estudos disponíveis introduz barreiras pragmáticas para a adoção de um rigoroso raciocínio baseado em evidências na ciência e na formulação de políticas. A proposta visa preencher essa lacuna desenvolvendo novos mecanismos de inferência de linguagem natural (NLI) baseados em evidências, visando o raciocínio sobre grandes espaços de evidência. A inferência abdutiva, ou inferência para a melhor explicação, permite a formulação de um processo de raciocínio sistemático que dialoga com o conjunto de evidências disponíveis, onde os processos de inferência dedutiva ou indutiva mais controlados não podem ser aplicados. Dada uma determinada hipótese, pergunta ou afirmação, o raciocínio abdutivo preencherá a lacuna com as evidências disponíveis, selecionando a mais provável dentre explicações concorrentes, que podem corroborar ou refutar essa hipótese. (AU)