Acelerando servidores de parâmetros em redes neurais utilizando técnicas de computação de alto desempenho

• Processo: 19/04519-7
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de maio de 2019
• Data de Término da vigência: 31 de agosto de 2019
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
• Pesquisador responsável: Paulo Sérgio Lopes de Souza
• Beneficiário: Matheus Henrique Junqueira Saldanha
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Vinculado ao auxílio: 13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria, AP.CEPID
• Assunto(s): Aprendizado computacional Redes neurais (computação) Servidores de rede Programação concorrente Computação de alto desempenho Modelagem computacional
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Computacão de Alto Desempenho | Plataformas heterogêneas | programação concorrente | Redes neurais | Servidores de Parâmetros | Computação de Alto Desempenho

Resumo

Aprendizado de Máquina (AM) tem recebido bastante atenção da indústria e da academia, uma vez que expande a gama de tarefas que podem ser realizadas por computadores: reconhecimento de fala, análise de sentimento, detecção de câncer, e muitas outras. Redes Neurais (RN) são um ramo de AM que se tornou bastante popular após recentemente vencer competições renomadas de reconhecimento de imagens; no entanto, elas exigem dias ou semanas para serem treinadas, o que impacta diretamente a produtividade de quem as usa. Este projeto objetiva acelerar Servidores de Parâmetros (SP), um popular algoritmo distribuído para aumentar a escala de aplicações de RN. Isso será feito inicialmente por meio da aplicação de técnicas de computação de alto desempenho em um SP utilizando somente um nível de paralelismo, o nível do minibatch, e posteriormente também pela investigação do paralelismo no nível do cálculo de gradientes. Ambas as linhas de investigação serão apoiadas por técnicas de projeto (e.g. análise PCAM) e modelagem (e.g. modelos computacionais), modelos de programação (e.g. MPI, CUDA), resultados teóricos (e.g. Lei de Amdahl) e métricas (e.g. speedup, depth-complexity) providas pela computação de alto desempenho. Ao acelerar RNs, espera-se aumentar a velocidade com a qual pesquisa é feita na área, e também facilitar o processo industrial de projetar modelos de RN e implantá-los em aplicações ou serviços.