Sistema de alto desempenho para aprendizagem contrastiva e aumento de eficiência computacional de modelos por otimização multiobjetivo

• Processo: 23/08313-0
• Modalidade de apoio: Bolsas no Brasil - Programa Capacitação - Treinamento Técnico
• Data de Início da vigência: 01 de agosto de 2023
• Data de Término da vigência: 31 de maio de 2025
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Alexandre Cláudio Botazzo Delbem
• Beneficiário: Daniel Osaku
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Vinculado ao auxílio: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria, AP.CEPID
• Assunto(s): Otimização multiobjetivo
• Palavra(s)-Chave do Pesquisador: Aprendizagem Contrastiva | Eficiência Computacional de Modelos | Modelos de Linguagem Natural | Otimização de Hiperparâmetros | otimização multiobjetivo | Otimização Multiobjetivo

Resumo

Com o avanço da Inteligência Artificial nos últimos anos, diversos modelos computacionais foram propostos com o intuito de alcançar resultados cada vez melhores. No entanto, quase a totalidade de tais modelos são treinados com apenas um objetivo e requerem computação de alto desempenho para treinamento, refinamento ou mesmo para aplicação desses modelos. Nesse sentido, este projeto organiza uma infraestrutura computacional que busca aumentar a eficiência de modelos de larga-escala, preparando bibliotecas de alguns dos principais métodos de otimização multiobjetivo para treinamento e refinamento dos modelos (que em geral requerem computação de alto desempenho). Denominada moILM (multiobjective Infrastructure for Large Models), esta infraestrutura deve também facilitar e acelelar o uso dessas ferramentas disponbilizando um conjunto de bilibotecas e tutoriais com exemplos de aplicações relevantes. Entre os principais resultados da moLM, devem estar: a otimização de hiperparâmetros em treinamento e refinamento de modelos (ou de comitês de modelos heterogêneos); métodos de "prunning" de modelos para aumento de robustez e redução de custo computacional; e aprendizagem constrativa (usualmente tratada de forma monoobjetiva), a qual busca maximizar distâncias no espaço latente entre amostras de uma mesma "classe" (âncora e amostras positivas) e minimizar entre "classes" diferentes (âncora e amostras negativas). Um exemplo para o tutorial da moILM deve ser aplicação de aprendizagem contrastiva em textos para avaliação da qualidade de cardápios escolares (utilizados no Programa Nacional de Alimentação Escolar - PNAE) por meio de diversos modelos de aprendizado de máquina, uma vez que diversos indicadores podem ser extraídos a partir dos dados dos cardápios.