Estudo da Topologia Algorítmica de String-Averaging para Métodos de Gradiente Estocástico com Aplicações a Aprendizado de Máquina Supervisionado em Redes Neurais Profundas

• Processo: 23/14437-3
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de dezembro de 2023
• Data de Término da vigência: 30 de novembro de 2024
• Área de conhecimento: Ciências Exatas e da Terra - Matemática - Matemática Aplicada
• Pesquisador responsável: Elias Salomão Helou Neto
• Beneficiário: Arthur Queiroz Moura
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Assunto(s): Aprendizado computacional Otimização não linear Otimização
• Palavra(s)-Chave do Pesquisador: Algoritmos Incrementais | Aprendizado de Máquina | Otimização Não-linear | Otimização

Resumo

Os métodos de gradiente estocástico mais bem sucedidos em aprendizado profundo possuem uma característica incremental e são executados, no caso de grandes conjuntos de dados de treino, em múltiplas Unidades de Processamento Gráfico (GPUs). É comum a divisão do grande conjunto de dados de treino em mini-batches, cada qual contendo um subconjunto desses dados de modo a manter computacionalmente viável o processamento de cada iteração do método (denominada ``época'' no jargão de aprendizado de máquina). A estocasticidade dos métodos advém da forma randomizada como os mini-batches são selecionados de dentro do conjunto total de dados de treino. No presente projeto, propomos o estudo teórico e prático do uso de métodos de gradiente estocástico no contexto de aprendizado profundo de uma topologia algorítmica alternativa à comumente utilizada para distribuir a computação entre as GPUs, denominada string-averaging. O bolsista manterá o foco no desenvolvimento teórico estudando principalmente as demonstrações de convergência para o método proposto, e manterá contato menor com a aplicação prática em aprendizado de máquina pois outros dois alunos ficarão encarregados da maior parte das tarefas experimentais.