DeepPruning: Redes Neurais Eficientes Explorando Técnicas de Poda

• Processo: 23/11163-0
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de dezembro de 2023
• Data de Término da vigência: 30 de novembro de 2025
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Artur Jordão Lima Correia
• Beneficiário: Artur Jordão Lima Correia
• Instituição Sede: Escola Politécnica (EP). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Município da Instituição Sede: São Paulo
• Pesquisadores associados: Anna Helena Reali Costa ; Cíntia Borges Margi
• Bolsa(s) vinculada(s): 25/10273-1 - Deep Green AI: Redes neurais sustentáveis eliminando múltiplas estruturas., BP.TT; 24/17684-4 - Aumento de Dados por meio de Amostras Destiladas e Detecção de Períodos Críticos de Aprendizagem, BP.IC; 23/16871-2 - Redes Neurais Eficientes e Confiáveis: Analisando o equilíbrio entre custo computacional e robustez adversarial de redes neurais podadas, BP.TT
• Assunto(s): Aprendizado computacional Aprendizagem profunda Redes neurais
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina | Deep Learning | Green AI | Redes neurais | Aprendizado de Máquina

Resumo

Aprendizado de máquina tem impulsionado avanços sem precedentes em direção à automatização de diversas tarefas cognitivas. Modelos modernos de aprendizado de máquina vêm adotando redes neurais profundas (deep learning) como o paradigma central para modelar padrões a partir dos dados. Apesar dos resultados positivos, frequentemente, redes neurais estão confinadas a uma alta sobrecarga computacional o que impõe diversos desafios tecnológicos, financeiros e organizacionais para seu desenvolvimento e estudo. Por exemplo, redes neurais modernas requerem massiva infraestrutura computacional que acarreta significativo investimento financeiro e alto consumo de energia elétrica. De acordo com trabalhos prévios, o desenvolvimento de redes neurais e modelos complexos de aprendizado de máquina em infraestruturas com fonte de energia não sustentáveis contribui na emissão de dióxido de carbono (CO2) e levanta questões ambientais importantes. Em virtude dessas adversidades, inúmeras pesquisas vêm sendo realizadas para melhorar a eficiência e o impacto ambiental (Green AI) das redes neurais. Nessa direção, os objetivos deste projeto compreendem a elaboração de soluções para tornar redes neurais computacionalmente proibitivas em modelos mais eficientes e análise dos modelos obtidos em diferentes configurações de hardware e cenários onde tomadas de decisões desempenham fatores críticos. Para alcançar os objetivos propostos, o projeto propõe soluções baseadas em técnicas de poda que identificam e removem componentes (neurônios e/ou camadas) de uma rede neural preservando compromissos entre sustentabilidade, eficiência e desempenho preditivo. Dentre as contribuições esperadas, destacam-se a aplicabilidade de redes neurais a cenários desprovidos de infraestrutura de computação massiva e com recursos computacionais limitados tais como a academia e pequenos centros de pesquisa. Por fim, o projeto evidencia onde estamos avaliando e incorporando a sustentabilidade na IA. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

MUGNAINI, LEANDRO GIUSTI; DUARTE, CAROLINA TAVARES; COSTA, ANNA HELENA REALI; JORDAO, ARTUR. Layer Pruning With Consensus: A Triple-Win Solution. IEEE ACCESS, v. 13, p. 11-pg., 2025-01-01. (23/11163-0)