Busca avançada
Ano de início
Entree

Sampa: estudo sobre a escalabilidade de aplicações MapReduce

Processo: 10/52355-9
Linha de fomento:Auxílio à Pesquisa - Regular
Vigência: 01 de janeiro de 2011 - 31 de dezembro de 2012
Área do conhecimento:Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
Convênio/Acordo: CNRS
Pesquisador responsável:Hermes Senger
Beneficiário:Hermes Senger
Pesq. responsável no exterior: Luciana Bezerra Arantes
Instituição no exterior: Université Pierre et Marie Curie (Paris 6), França
Instituição-sede: Centro de Ciências Exatas e de Tecnologia (CCET). Universidade Federal de São Carlos (UFSCAR). São Carlos , SP, Brasil
Vinculado ao auxílio:09/09847-0 - Escalabilidade de aplicações distribuídas em grades computacionais, AP.R
Assunto(s):Plataforma (computação)  Computação em cluster  Processamento de dados  Multiprogramação e multiprocessamento  Escalabilidade 

Resumo

MapReduce define um modelo de programação e um ambiente de execução associado proposto pela Google em 2004, para a implementação e execução de aplicações paralelas voltadas ao processamento de grandes volumes de dados em plataformas compostas por milhares de processadores, tais como em um datacenter ou em uma nuvem computacional (cloud). Há relatos de que mais de cem mil jobs MapReduce são executados diariamente, manipulando mais de 20 Petabytes de dados, em empresas como a Google. Além disso, um número crescente de pesquisadores em diversas áreas estão utilizando MapReduce para desenvolver aplicações computacionais que demandam altíssima capacidade computacional. Este projeto tem como objetivo avaliar os limites de escalabilidade, bem como gargalos de desempenho de aplicações MapReduce executando em grandes clusters de computadores e warehouse-scale machines. Serão avaliados diversos aspectos tais como as características do framework MapReduce, aspectos de sua implementação, distribuição dos dados, a arquitetura computacional (clusters, tolopogias, infraestrutura de comunicação), entre outros. Para a análise de escalabilidade serão utilizados métodos empíricos, de simulação bem como métodos analíticos que permitam identificar quais fatores influenciam e determinam a escalabilidade de tais aplicações. A presente proposta estende o escopo e os objetivos do projeto intitulado "Escalabilidade de Aplicações Distribuídas em Grades Computacionais", que se encontra em andamento no DC/UFSCAR e tem apoio da FAPESP, permitindo o estudo de aplicações MapReduce. (AU)

Publicações científicas
(Referências obtidas automaticamente do Web of Science e do SciELO, por meio da informação sobre o financiamento pela FAPESP e o número do processo correspondente, incluída na publicação pelos autores)
DA SILVA, FABRICIO A. B.; SENGER, HERMES. Scalability limits of Bag-of-Tasks applications running on hierarchical platforms. JOURNAL OF PARALLEL AND DISTRIBUTED COMPUTING, v. 71, n. 6, SI, p. 788-801, JUN 2011. Citações Web of Science: 17.

Por favor, reporte erros na lista de publicações científicas escrevendo para: cdi@fapesp.br.