Sampa: estudo sobre a escalabilidade de aplicações MapReduce

Resumo

MapReduce define um modelo de programação e um ambiente de execução associado proposto pela Google em 2004, para a implementação e execução de aplicações paralelas voltadas ao processamento de grandes volumes de dados em plataformas compostas por milhares de processadores, tais como em um datacenter ou em uma nuvem computacional (cloud). Há relatos de que mais de cem mil jobs MapReduce são executados diariamente, manipulando mais de 20 Petabytes de dados, em empresas como a Google. Além disso, um número crescente de pesquisadores em diversas áreas estão utilizando MapReduce para desenvolver aplicações computacionais que demandam altíssima capacidade computacional. Este projeto tem como objetivo avaliar os limites de escalabilidade, bem como gargalos de desempenho de aplicações MapReduce executando em grandes clusters de computadores e warehouse-scale machines. Serão avaliados diversos aspectos tais como as características do framework MapReduce, aspectos de sua implementação, distribuição dos dados, a arquitetura computacional (clusters, tolopogias, infraestrutura de comunicação), entre outros. Para a análise de escalabilidade serão utilizados métodos empíricos, de simulação bem como métodos analíticos que permitam identificar quais fatores influenciam e determinam a escalabilidade de tais aplicações. A presente proposta estende o escopo e os objetivos do projeto intitulado "Escalabilidade de Aplicações Distribuídas em Grades Computacionais", que se encontra em andamento no DC/UFSCAR e tem apoio da FAPESP, permitindo o estudo de aplicações MapReduce. (AU)