Usando Memória Persistente para Acelerar a Inferência de Grandes Modelos de Linguagem

• Processo: 24/02372-7
• Modalidade de apoio: Bolsas no Brasil - Mestrado
• Data de Início da vigência: 01 de abril de 2024
• Data de Término da vigência: 30 de abril de 2025
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Alexandro José Baldassin
• Beneficiário: Pedro Luis Cattai
• Instituição Sede: Instituto de Geociências e Ciências Exatas (IGCE). Universidade Estadual Paulista (UNESP). Campus de Rio Claro. Rio Claro , SP, Brasil
• Vinculado ao auxílio: 18/15519-5 - Otimizações de desempenho para arquiteturas multicore, AP.JP2
• Assunto(s): Eficiência
• Palavra(s)-Chave do Pesquisador: desempenho | Grandes Modelos de Linguag | Memória persistente | Hierarquia de Memória

Resumo

Com o avanço tecnológico na área de aprendizado de máquina, os Grandes Modelos de Linguagem (Large Language Models ou LLMs) têm ganhado notoriedade neste campo. Entretanto, eles apresentam demandas de memória e processamento muito altas, principalmente em máquinas que usam memória RAM e armazenamento em disco. Muitas vezes, os dados necessários dos modelos não podem ser transportados inteiramente para a memória principal, tornando necessária uma interação maior com a memória secundária e piorando o desempenho significativamente. A ideia deste projeto é inserir a Memória Persistente neste contexto, de modo a evitar o problema citado anteriormente, otimizando o uso de LLMs, principalmente na fase de inferência.