Modelos de Linguagem Baseados em Grafos para Predição de Link

• Processo: 24/10001-9
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de março de 2025
• Data de Término da vigência: 30 de junho de 2028
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Ricardo Marcondes Marcacini
• Beneficiário: Kenzo Miranda Sakiyama
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Assunto(s): Aprendizagem profunda Grafos
• Palavra(s)-Chave do Pesquisador: Deep Learning | grafos | Modelos de linguagem | Predição de link | Mineração de informações em grafos de eventos

Resumo

Eventos são caracterizados por descrições compostas de lugares, pessoas envolvidas, horários etc, e seu monitoramento é de grande interesse para o entendimento de acontecimentos do mundo real. Para a mineração de informações em eventos, utilizando técnicas de aprendizado de máquina e aprendizado profundo, os mesmos são frequentemente modelados através de grafos em que seus vértices e arestas correspondem aos componentes e relações dos eventos, respectivamente. Dentro deste contexto, o uso de caminhadas aleatórias para mineração de informações em grafos não é novidade na literatura e já provou-se bastante efetivo. Particularmente, a combinação de caminhadas com modelos de linguagem, como o word2vec, consolidou-se como uma abordagem popular para resolução de tarefas em grafos, a exemplo do deepwalk e node2vec. Considerando este uso de caminhadas aleatórias, existem lacunas não investigadas na literatura. Em primeiro lugar, modelos word2vec operam sobre contextos pequenos e de forma menos refinada que modelos de linguagem recentes. Em segundo lugar, novos modelos de linguagem surgiram após o word2vec, como modelos baseados no BERT e GPT, e, até o presente momento, há poucos trabalhos na literatura que exploram os mesmos com caminhadas aleatórias em grafos. Logo, o objetivo desta proposta de Doutorado é investigar o uso de modelos de linguagem baseados em Transformers, em conjunto de caminhadas aleatórias, visando a modelagem de grafos e a avaliação do modelos na tarefa de predição de link, que permitem analisar a relação entre eventos e suas componentes de lugares, pessoas e organizações. Diferentes variações da arquitetura serão investigadas, assim como técnicas de caminhadas sobre grafos, e serão comparadas utilizando a tarefa mencionada. Além disto, a proposta será comparada com o atual estado da arte na tarefa visando comprovar empiricamente sua efetividade. A fim de avaliar a metodologia em um problema real, a mesma também será avaliada na predição de relações em diferentes bases de eventos.