Otimizações no Cálculo da Distância de Compressão Normalizada para o Aprendizado não Supervisionado

• Processo: 25/12086-4
• Modalidade de apoio: Bolsas no Brasil - Iniciação Científica
• Data de Início da vigência: 01 de outubro de 2025
• Data de Término da vigência: 30 de setembro de 2026
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Paulo Sérgio Lopes de Souza
• Beneficiário: João Pedro Hamata
• Instituição Sede: Instituto de Ciências Matemáticas e de Computação (ICMC). Universidade de São Paulo (USP). São Carlos , SP, Brasil
• Vinculado ao auxílio: 19/26702-8 - Tendências em computação de alto desempenho, do gerenciamento de recursos a novas arquiteturas de computadores, AP.TEM
• Assunto(s): Aprendizado de máquina não supervisionado Computação de alto desempenho Computação heterogênea Programação paralela
• Palavra(s)-Chave do Pesquisador: Aprendizado de Máquina Não Supervisionado | Complexidade de Kolmogorov | Computacão de Alto Desempenho | Computação Heterogênea | Normalized Compression Distance NCD | Programação paralela | Computação de Alto Desempenho

Resumo

A análise não supervisionada de grandes volumes de dados impõe obstáculos computacionais significativos, em função da elevada complexidade algorítmica e das exigências de pré-processamento. Metodologias como a DAMICORE, alicerçada na Distância de Compressão Normalizada (NCD) - métrica derivada da Complexidade de Kolmogorov -, oferecem a vantagem de dispensar a extração prévia de características (feature engineering), sendo aplicáveis a dados heterogêneos. Contudo, a etapa inicial - e frequentemente mais custosa - deste pipeline, o cálculo da matriz de distâncias NCD entre todos os pares de objetos, apresenta complexidade computacional quadrática, tornando-se um gargalo para sua utilização em cenários de Big Data. Este projeto visa abordar tal limitação no contexto da metodologia DAMICORE, por meio da aplicação de técnicas de Computação de Alto Desempenho (HPC). Propõe-se o levantamento de propostas e, com base neste, a análise, projeto, implementação e avaliação de algoritmos paralelos otimizados para o cálculo da matriz NCD, explorando o potencial de arquiteturas computacionais heterogêneas contemporâneas. A metodologia prevê o uso de arquiteturas paralelas como CPUs multicore, extensões SIMD, aceleradores gráficos e clusters de computadores. Espera-se alcançar uma otimização substancial no cálculo da métrica NCD na metodologia DAMICORE, com análises quantitativas de speedup e escalabilidade nas diferentes plataformas testadas, além da disponibilização de um módulo de software otimizado, documentado e reutilizável para o cálculo paralelo da NCD. A principal contribuição científica consiste na viabilização prática de métodos baseados em NCD - como o pipeline usado na DAMICORE - para domínios que operam com grandes volumes de dados, potencializando avanços em áreas como bioinformática, redes complexas e processamento de linguagem natural. (AU)