A high-performance system for contrastive learning and computational efficiency model enhancement by multiobjective objective

• Grant number: 23/08313-0
• Support Opportunities: Scholarships in Brazil - Technical Training Program - Technical Training
• Start date: August 01, 2023
• End date: May 31, 2025
• Field of knowledge: Physical Sciences and Mathematics - Computer Science - Computer Systems
• Principal Investigator: Alexandre Cláudio Botazzo Delbem
• Grantee: Daniel Osaku
• Host Institution: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brazil
• Associated research grant: 13/07375-0 - CeMEAI - Center for Mathematical Sciences Applied to Industry, AP.CEPID

Abstract

Com o avanço da Inteligência Artificial nos últimos anos, diversos modelos computacionais foram propostos com o intuito de alcançar resultados cada vez melhores. No entanto, quase a totalidade de tais modelos são treinados com apenas um objetivo e requerem computação de alto desempenho para treinamento, refinamento ou mesmo para aplicação desses modelos. Nesse sentido, este projeto organiza uma infraestrutura computacional que busca aumentar a eficiência de modelos de larga-escala, preparando bibliotecas de alguns dos principais métodos de otimização multiobjetivo para treinamento e refinamento dos modelos (que em geral requerem computação de alto desempenho). Denominada moILM (multiobjective Infrastructure for Large Models), esta infraestrutura deve também facilitar e acelelar o uso dessas ferramentas disponbilizando um conjunto de bilibotecas e tutoriais com exemplos de aplicações relevantes. Entre os principais resultados da moLM, devem estar: a otimização de hiperparâmetros em treinamento e refinamento de modelos (ou de comitês de modelos heterogêneos); métodos de "prunning" de modelos para aumento de robustez e redução de custo computacional; e aprendizagem constrativa (usualmente tratada de forma monoobjetiva), a qual busca maximizar distâncias no espaço latente entre amostras de uma mesma "classe" (âncora e amostras positivas) e minimizar entre "classes" diferentes (âncora e amostras negativas). Um exemplo para o tutorial da moILM deve ser aplicação de aprendizagem contrastiva em textos para avaliação da qualidade de cardápios escolares (utilizados no Programa Nacional de Alimentação Escolar - PNAE) por meio de diversos modelos de aprendizado de máquina, uma vez que diversos indicadores podem ser extraídos a partir dos dados dos cardápios.