Busca avançada
Ano de início
Entree

Acelerando servidores de parâmetros em redes neurais utilizando técnicas de computação de alto desempenho

Processo: 19/04519-7
Linha de fomento:Bolsas no Brasil - Iniciação Científica
Vigência (Início): 01 de maio de 2019
Vigência (Término): 31 de agosto de 2019
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Metodologia e Técnicas da Computação
Pesquisador responsável:Paulo Sérgio Lopes de Souza
Beneficiário:Matheus Henrique Junqueira Saldanha
Instituição-sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
Vinculado ao auxílio:13/07375-0 - CeMEAI - Centro de Ciências Matemáticas Aplicadas à Indústria, AP.CEPID
Assunto(s):Aprendizado computacional   Redes neurais (computação)   Servidores de rede   Programação concorrente   Computação de alto desempenho   Modelagem computacional

Resumo

Aprendizado de Máquina (AM) tem recebido bastante atenção da indústria e da academia, uma vez que expande a gama de tarefas que podem ser realizadas por computadores: reconhecimento de fala, análise de sentimento, detecção de câncer, e muitas outras. Redes Neurais (RN) são um ramo de AM que se tornou bastante popular após recentemente vencer competições renomadas de reconhecimento de imagens; no entanto, elas exigem dias ou semanas para serem treinadas, o que impacta diretamente a produtividade de quem as usa. Este projeto objetiva acelerar Servidores de Parâmetros (SP), um popular algoritmo distribuído para aumentar a escala de aplicações de RN. Isso será feito inicialmente por meio da aplicação de técnicas de computação de alto desempenho em um SP utilizando somente um nível de paralelismo, o nível do minibatch, e posteriormente também pela investigação do paralelismo no nível do cálculo de gradientes. Ambas as linhas de investigação serão apoiadas por técnicas de projeto (e.g. análise PCAM) e modelagem (e.g. modelos computacionais), modelos de programação (e.g. MPI, CUDA), resultados teóricos (e.g. Lei de Amdahl) e métricas (e.g. speedup, depth-complexity) providas pela computação de alto desempenho. Ao acelerar RNs, espera-se aumentar a velocidade com a qual pesquisa é feita na área, e também facilitar o processo industrial de projetar modelos de RN e implantá-los em aplicações ou serviços.