Aprendizagem Automática para predizer desempenho e tempo de corrida de aplicações heterogêneas com dados de entrada incertos

Resumo

Hoje, a maioria das plataformas de computação para HPC têm recursos de hardware heterogêneas (CPUs, GPUs, armazenamento, etc.) Os mais poderosos supercomputadores de hoje tem milhões desses recursos. Para utilizar todo o poder computacional disponível, as aplicações devem ser compostas de várias tarefas que devem usar todos os recursos disponíveis da forma mais eficiente possível.O Sistema de gerenciador de tarefas (Job Management System - JMS) é o middleware responsável pela distribuição de poder de computação para as aplicações. O JMS deve alocar recursos para as tarefas, a fim de optimizar a utilização dos recursos disponíveis, garantindo um bom desempenho para todas as aplicações em execução paralela. Um caminho promissor para conseguir isso é usando previsão de desempenho. No entanto, em um cenário com milhões de processadores e um grande número de tarefas, é muito difícil prever o desempenho das aplicações.Este projeto de pesquisa propõe o estudo de algoritmos de aprendizagem automática para apoiar gerenciadores de tarefas com um grande número de recursos computacionais. Vamos aplicar técnicas de aprendizagem para desenvolver novos algoritmos de escalonamento que são capazes de realizar previsão de desempenho a partir de rastros de execução (dados com incerteza) estimados do desenvolvedor.Usando nossos resultados anteriores sobre a caracterização do desempenho GPU e dados coletados de vários JMS, vamos analisar a aplicabilidade de algoritmos de aprendizagem automática para prever o tempo de aplicações heterogêneas em execução.