Algoritmos, métodos e ferramentas para migrar aplicações de alto desempenho de ciência e engenharia para a nuvem computacional

• Processo: 19/12792-5
• Modalidade de apoio: Bolsas no Brasil - Pós-Doutorado
• Data de Início da vigência: 01 de setembro de 2019
• Data de Término da vigência: 19 de dezembro de 2022
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Edson Borin
• Beneficiário: Rafael Keller Tesser
• Instituição Sede: Instituto de Computação (IC). Universidade Estadual de Campinas (UNICAMP). Campinas , SP, Brasil
• Vinculado ao auxílio: 13/08293-7 - CECC - Centro de Engenharia e Ciências Computacionais, AP.CEPID
• Assunto(s): Computação de alto desempenho Computação em nuvem
• Palavra(s)-Chave do Pesquisador: Cloud Computing | High-Performance Computing | Computação de Alto Desempenho

Resumo

No contexto da computação em nuvem, o usuário pode escolher dentre diversas configurações de hardware e preços para configurar seu cluster de alto desempenho. Isso deixa abertas várias oportunidades de otimização, como evitar longas esperas em filas de reserva de jobs e a criação de clusters especializados para cada aplicação. No entanto, migrar o código para a nuvem, selecionar o conjunto de recursos mais eficiente para cada aplicação e lidar com as flutuações de desempenho em estruturas de redes virtuais são desafios que ainda precisam ser vencidos [1].Para mitigar os problemas de desempenho da rede de interconexão, alguns provedores estão oferecendo serviços especializados para HPC na nuvem. Esses serviços fornecem garantias em relação ao desempenho da rede. Ainda assim, eles são mais caros e geralmente limitado a um número máximo de máquinas que podem ser alugadas. Embora algumas aplicações de alto desempenho possam beneficiar-se dessas garantias extras, outras são tolerantes a variações do desempenho da rede. Portanto, escolher o serviço com o melhor custo-benefício para cada aplicação pode ser um desafio em si.Aplicações de alto desempenho científicas e de engenharia podem depender de múltiplos pacotes de software, incluindo bibliotecas especializadas. No entanto, em muitos casos, instalar e configurar esses pacotes em novos sistemas pode apresentar um série de dificuldades. Levando isso em conta, é crucial a investigação de tecnologias para facilitar a migração de programas de alto desempenho de estações-de-trabalho e clusters locais para a nuvem.O objetivo principal, nesse sentido, é investigar técnicas e métodos para facilitar a migração de aplicações de alto desempenho já existentes para a nuvem e também otimizar sua execução em recursos de computação em nuvem. Para facilitar essa migração, planeja-se utilizar a tecnologia de containers [2].[1] Netto, M. A. S., Calheiros, R. N., Rodrigues, E. R., Cunha, R. L. F., Buyya, R. HPC Cloud for Scientific and Business Applications: Taxonomy, Vision, and Research Challenges. ACM Computing Surveys 51 (2018).[2] Pahl, C., Brogi, A., Soldani, J., e Jamshidi, P. Cloud Container Technologies: a State- of-the-Art Review. IEEE Transactions on Cloud Computing (2017).

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

TESSER, RAFAEL KELLER; BORIN, EDSON. Containers in HPC: a survey. JOURNAL OF SUPERCOMPUTING, v. 79, n. 5, p. 69-pg., 2022-10-27. (13/08293-7, 19/12792-5)

TESSER, RAFAEL KELLER; MARQUES, ALVARO; BORIN, EDSON; IEEE COMP SOC. Selecting efficient VM types to train deep learning models on Amazon SageMaker. 2021 IEEE 33RD INTERNATIONAL SYMPOSIUM ON COMPUTER ARCHITECTURE AND HIGH PERFORMANCE COMPUTING WORKSHOPS (SBAC-PADW 2021), v. N/A, p. 8-pg., 2021-01-01. (13/08293-7, 19/12792-5)