Fusão de Large Language Models

• Processo: 23/15047-4
• Modalidade de apoio: Bolsas no Exterior - Estágio de Pesquisa - Iniciação Científica
• Data de Início da vigência: 01 de abril de 2024
• Data de Término da vigência: 31 de julho de 2024
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Nina Sumiko Tomita Hirata
• Beneficiário: Gabriel Jacob Perin
• Supervisor: Zhangyang Wang
• Instituição Sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Instituição Anfitriã: University of Texas at Austin (UT), Estados Unidos
• Vinculado à bolsa: 22/11645-1 - Classificação de estrelas, galáxias e quasares baseada em imagens fotométricas multibandas, BP.IC
• Assunto(s): Aprendizagem profunda Processamento de linguagem natural Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Deep Learning | Large Language Model | Model fusion | natural language processing | Aprendizado de Máquina

Resumo

Os métodos de ensemble têm sido utilizados com sucesso para aproveitar a diversidade de diferentes modelos, melhorando o desempenho, porém ao custo de maior tempo de inferência. Na situação em que os modelos compostos são redes neurais que compartilham a mesma arquitetura, os métodos de fusão surgiram como uma alternativa aos ensembles, sem a desvantagem de aumentar o tempo de inferência. Este projeto de pesquisa visa estudar as técnicas de fusão no contexto de Large Language Models (LLMs), em tarefas de Processamento de Linguagem Natural.