Aumento de Dados por meio de Amostras Destiladas e Detecção de Períodos Críticos de Aprendizagem

• Processo: 24/17684-4
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de dezembro de 2024
• Data de Término da vigência: 30 de novembro de 2025
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Artur Jordão Lima Correia
• Beneficiário: Ian Guarim Pons
• Instituição Sede: Escola Politécnica (EP). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Vinculado ao auxílio: 23/11163-0 - DeepPruning: Redes Neurais Eficientes Explorando Técnicas de Poda, AP.R
• Assunto(s): Aprendizagem profunda Aprendizado computacional
• Palavra(s)-Chave do Pesquisador: Aprendizado profundo | Data Augmentation | Destilação de Dados | GreenAI | Períodos Críticos | Aprendizado de Máquina

Resumo

O ingrediente secreto para os resultados sem precedentes de modelos modernos reside na qualidade e quantidade dos dados de treinamento. Tal ingrediente, entretanto, impõe diversos desafios computacionais que têm motivado esforços rumo a métodos de destilação de dados. Essa família de técnicas produz um conjunto sintético de dados, muito menor que o original, capaz de obter resultados equivalentes ao conjunto inicial após o treinamento. Independentemente dos dados utilizados, cenários práticos exigem modelos capazes de generalizar padrões vistos no treino para tomada de decisões em ambientes críticos. Dessa forma, garantir sua confiabilidade em cenários ditos Out-of-Distribution (i.e., adversos aos dados de treinamento) é um desafio central no ramo. Técnicas de regularização representam a principal alternativa para tal problemática, impondo restrições durante o processo de aprendizado. Dentre as formas de regularização mais promissoras, destaca-se o aumento de dados. Nessa direção, além da elaboração de novas técnicas, estudos recentes buscam compreender os chamados períodos críticos: fases iniciais do treinamento onde regularizações produzem efeitos positivos na generalização do modelo. Este projeto de pesquisa propõe um novo método de aumento de dados que aproveita a informação altamente discriminativa contida em imagens provenientes de métodos de destilação de dados. Uma desvantagem inerente do aumento de dados reside no tempo de treinamento e, consequentemente, na quantidade de CO2 emitido e no consumo de energia; tais fatores também motivam o uso de dados destilados. Dessa forma, propõe-se contrabalancear o inerente aumento computacional aplicando aumento de dados apenas nos períodos críticos, ao invés de durante todo o processo de aprendizagem. Para este propósito, o projeto propõe identificar tais períodos de maneira sistemática, o que ainda é um problema em aberto pois, embora a literatura reconheça sua existência, ainda não dispõe de métodos que identificam quando tais períodos emergem. Dentre as contribuições esperadas, destacamos uma maior generalização dos modelos sem afetar o custo do treinamento e ajuste fino de modelos modernos.