Esmiuçando o Aprendizado de Máquina: Aceleradores Eficientes para Redes Profundas e sua Aplicabilidade em Computação Cientifica

• Processo: 23/03328-9
• Modalidade de apoio: Bolsas no Brasil - Doutorado
• Data de Início da vigência: 01 de abril de 2023
• Data de Término da vigência: 31 de março de 2026
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Guido Costa Souza de Araújo
• Beneficiário: Lucas Fernando Alvarenga e Silva
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Vinculado ao auxílio: 13/08293-7 - CECC - Centro de Engenharia e Ciências Computacionais, AP.CEPID
• Assunto(s): Aprendizado computacional Geração de código
• Palavra(s)-Chave do Pesquisador: aceleradores | Aprendizado de Máquina | Bibliotecas de Aprendizado de Máquina | Geração de Código | Arquiteturas especializadas

Resumo

Métodos de aprendizado profundo (do inglês, Deep Learning - DL), especialmente Redes Neurais Convolucionais (do inglês, Convolution Neural Networks - CNNs), trouxeram avanços revolucionários para muitas áreas de pesquisa devido à sua capacidade de aprender com dados brutos. No entanto, tais resultados surpreendentes foram obtidos ao custo de modelos grandes e caros que rodam sobre sistemas computacionais irrealistas. Esses tipos de modelo enormes, como Stable Diffusion e GPT-3, normalmente são associados a grandes empresas de Inteligência Artificial (IA) que possuem sistemas distribuídos com um grande número de Unidades de Processamento Gráfico (do inglês, Graphical Processor Units - GPUs), um acelerador de uso geral caro e de alto consumo de energia para o processamento de tarefas gráficas. Por outro lado, há também o problema da democratização da IA, que diz respeito à implantação de métodos DL para uma ampla gama de aplicativos que devem ser executados em dispositivos de borda com recursos limitados. Nesse caso, é obrigatório terceirizar a execução dos modelos DL para módulos associados, como aceleradores para domínios específicos que podem executar modelos complexos com baixo consumo de energia em tempo viável. Com base em ambas as limitações, as grandes empresas que oferecem serviços de IA começaram a impulsionar o desenvolvimento de aceleradores de hardware para domínios específicos em vista de melhorar ainda mais a vazão de dados de modelos DL, como as Unidades de Processamento Tensoriais da Google e o acelerador Inferentia da Amazon que foram implantados em seus serviços de nuvem para cargas de trabalho extensas, e as Unidades de Processamento Neurais (do inglês, Neural Processor Units - NPUs) para dispositivos com recursos limitados. Esta proposta de pesquisa visa resolver problemas que surgem do uso dos hardwares aceleradores específicos para DL, por exemplo, desenvolvendo estratégias de otimização para o uso dos recursos dea dispositivos com recursos limitados, como fatiamento de dados e parâmetros de modelos DL, integração com bibliotecas de IA conhecidas e, também, sua aplicabilidade em tarefas do mundo real, especialmente, sobre o problema de dobramento de proteínas. Planeja-se investigar cada uma dessas atividades sobre o hardware do Processador NeuroMorfo (do inglês, NeuroMorphic Processor - NMP) desenvolvido pela LGE, que consiste de uma matriz de processadores com módulos especializados para operações entre matrizes.

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

ALVARENGA E SILVA, LUCAS FERNANDO; DOS SANTOS, SAMUEL FELIPE; SEBE, NICU; ALMEIDA, JURANDY. Beyond the known: Enhancing Open Set Domain Adaptation with unknown exploration. PATTERN RECOGNITION LETTERS, v. 189, p. 8-pg., 2025-02-28. (21/13348-1, 13/08293-7, 20/08770-3, 24/04500-2, 23/17577-0, 19/17874-0, 23/03328-9, 17/25908-6)

ALVARENGA E SILVA, LUCAS FERNANDO; SEBE, NICU; ALMEIDA, JURANDY. Tightening Classification Boundaries in Open Set Domain Adaptation through Unknown Exploitation. 2023 36TH CONFERENCE ON GRAPHICS, PATTERNS AND IMAGES, SIBGRAPI 2023, v. N/A, p. 6-pg., 2023-01-01. (17/25908-6, 23/03328-9, 20/08770-3, 21/13348-1)