Sampa: estudo sobre a escalabilidade de aplicações MapReduce

• Processo: 10/52355-9
• Modalidade de apoio: Auxílio à Pesquisa - Regular
• Data de Início da vigência: 01 de janeiro de 2011
• Data de Término da vigência: 31 de dezembro de 2012
• Área do conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Acordo de Cooperação: CNRS
• Pesquisador responsável: Hermes Senger
• Beneficiário: Hermes Senger
• Pesquisador Responsável no exterior: Luciana Bezerra Arantes
• Instituição Parceira no exterior: Université Pierre et Marie Curie (Paris 6), França
• Instituição Sede: Centro de Ciências Exatas e de Tecnologia (CCET). Universidade Federal de São Carlos (UFSCAR). São Carlos , SP, Brasil
• Vinculado ao auxílio: 09/09847-0 - Escalabilidade de aplicações distribuídas em grades computacionais, AP.R
• Assunto(s): Plataforma (computação) Computação em cluster Processamento de dados Multiprogramação e multiprocessamento Escalabilidade
• Palavra(s)-Chave do Pesquisador: Clusters | Escalabilidade | Mapreduce | Plataforma Master Slave | Sistemas Multiprocessadores

Resumo

MapReduce define um modelo de programação e um ambiente de execução associado proposto pela Google em 2004, para a implementação e execução de aplicações paralelas voltadas ao processamento de grandes volumes de dados em plataformas compostas por milhares de processadores, tais como em um datacenter ou em uma nuvem computacional (cloud). Há relatos de que mais de cem mil jobs MapReduce são executados diariamente, manipulando mais de 20 Petabytes de dados, em empresas como a Google. Além disso, um número crescente de pesquisadores em diversas áreas estão utilizando MapReduce para desenvolver aplicações computacionais que demandam altíssima capacidade computacional. Este projeto tem como objetivo avaliar os limites de escalabilidade, bem como gargalos de desempenho de aplicações MapReduce executando em grandes clusters de computadores e warehouse-scale machines. Serão avaliados diversos aspectos tais como as características do framework MapReduce, aspectos de sua implementação, distribuição dos dados, a arquitetura computacional (clusters, tolopogias, infraestrutura de comunicação), entre outros. Para a análise de escalabilidade serão utilizados métodos empíricos, de simulação bem como métodos analíticos que permitam identificar quais fatores influenciam e determinam a escalabilidade de tais aplicações. A presente proposta estende o escopo e os objetivos do projeto intitulado "Escalabilidade de Aplicações Distribuídas em Grades Computacionais", que se encontra em andamento no DC/UFSCAR e tem apoio da FAPESP, permitindo o estudo de aplicações MapReduce. (AU)

Publicações científicas

(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)

DA SILVA, FABRICIO A. B.; SENGER, HERMES. Scalability limits of Bag-of-Tasks applications running on hierarchical platforms. JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING, v. 71, n. 6, SI, p. 788-801, JUN 2011. (10/52355-9, 09/09847-0)

SENGER, HERMES; BARBOSA DA SILVA, FABRICIO ALVES. BOUNDS ON THE SCALABILITY OF BAG-OF-TASKS APPLICATIONS RUNNING ON MASTER-SLAVE PLATFORMS. PARALLEL PROCESSING LETTERS, v. 22, n. 2, p. 16-pg., 2012-06-01. (10/52355-9, 09/09847-0)

DA SILVA, FABRICIO A. B.; SENGER, HERMES. Scalability limits of Bag-of-Tasks applications running on hierarchical platforms. JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING, v. 71, n. 6, p. 14-pg., 2011-06-01. (10/52355-9, 09/09847-0)