Esmiuçando o Aprendizado de Máquina: Aceleradores Eficientes para Redes Profundas e sua Aplicabilidade em Computação Cientifica

Resumo

Métodos de aprendizado profundo (do inglês, Deep Learning - DL), especialmente Redes Neurais Convolucionais (do inglês, Convolution Neural Networks - CNNs), trouxeram avanços revolucionários para muitas áreas de pesquisa devido à sua capacidade de aprender com dados brutos. No entanto, tais resultados surpreendentes foram obtidos ao custo de modelos grandes e caros que rodam sobre sistemas computacionais irrealistas. Esses tipos de modelo enormes, como Stable Diffusion e GPT-3, normalmente são associados a grandes empresas de Inteligência Artificial (IA) que possuem sistemas distribuídos com um grande número de Unidades de Processamento Gráfico (do inglês, Graphical Processor Units - GPUs), um acelerador de uso geral caro e de alto consumo de energia para o processamento de tarefas gráficas. Por outro lado, há também o problema da democratização da IA, que diz respeito à implantação de métodos DL para uma ampla gama de aplicativos que devem ser executados em dispositivos de borda com recursos limitados. Nesse caso, é obrigatório terceirizar a execução dos modelos DL para módulos associados, como aceleradores para domínios específicos que podem executar modelos complexos com baixo consumo de energia em tempo viável. Com base em ambas as limitações, as grandes empresas que oferecem serviços de IA começaram a impulsionar o desenvolvimento de aceleradores de hardware para domínios específicos em vista de melhorar ainda mais a vazão de dados de modelos DL, como as Unidades de Processamento Tensoriais da Google e o acelerador Inferentia da Amazon que foram implantados em seus serviços de nuvem para cargas de trabalho extensas, e as Unidades de Processamento Neurais (do inglês, Neural Processor Units - NPUs) para dispositivos com recursos limitados. Esta proposta de pesquisa visa resolver problemas que surgem do uso dos hardwares aceleradores específicos para DL, por exemplo, desenvolvendo estratégias de otimização para o uso dos recursos dea dispositivos com recursos limitados, como fatiamento de dados e parâmetros de modelos DL, integração com bibliotecas de IA conhecidas e, também, sua aplicabilidade em tarefas do mundo real, especialmente, sobre o problema de dobramento de proteínas. Planeja-se investigar cada uma dessas atividades sobre o hardware do Processador NeuroMorfo (do inglês, NeuroMorphic Processor - NMP) desenvolvido pela LGE, que consiste de uma matriz de processadores com módulos especializados para operações entre matrizes.