Governança de Dados Para Ambientes de Processamento e Análises de Ciência de Dados

• Processo: 25/11608-7
• Modalidade de apoio: Bolsas no Brasil - Doutorado Direto
• Data de Início da vigência: 01 de julho de 2025
• Data de Término da vigência: 30 de junho de 2029
• Área de conhecimento: Ciências Exatas e da Terra - Ciência da Computação - Sistemas de Computação
• Pesquisador responsável: Kelly Rosa Braghetto
• Beneficiário: Rafael Hideki Suguimoto
• Instituição Sede: Instituto de Matemática e Estatística (IME). Universidade de São Paulo (USP). São Paulo , SP, Brasil
• Vinculado ao auxílio: 23/18026-8 - Centro de Ciência de Dados para Estatísticas Públicas (CCDEP), AP.CCD
• Assunto(s): Banco de dados
• Palavra(s)-Chave do Pesquisador: arquitetura de dados | Data Mesh | Engenharia de Dados | governança de dados | Bancos de Dados

Resumo

Dados podem ser considerados um novo tipo de combustível na era moderna. O paradigma de Big Data motiva organizações a se tornarem orientadas a dados, implementando o processamento de dados em tempo real para obter resultados imediatos, aplicando análises preditivas para prever tendências e otimizar operações, e utilizando tecnologias de aprendizado de máquina. Apesar desses diversos esforços, organizações enfrentam dificuldades para extrair o potencial total de seus dados analíticos, uma vez que tradicionalmente optam por adotar arquiteturas de dados monolíticas para armazenar e processar dados de várias fontes, e dependem de equipes centralizadas para atender a tarefas de diferentes áreas da organização. Tais soluções podem gerar desafios na governança de dados, comprometendo a qualidade, integridade, segurança e disponibilidade dos dados na organização.Técnicas eficientes para coletar, preparar e integrar dados são essenciais para governar dados de alta frequência e granularidade, provenientes de várias fontes [1]. Além disso, há uma necessidade de descentralização das arquiteturas de dados, permitindo que diferentes dados coletados sejam interligados, facilmente acessíveis e cuidadosamente monitorados pelos respectivos especialistas de domínio dentro do ecossistema de dados. Isso promove oportunidades para observar e analisar relacionamentos adicionais entre os dados e evita a formação de silos [2]. Para essa finalidade, soluções como DataOps e Data Mesh podem ser adotadas.DataOps é derivado do movimento DevOps, um esforço colaborativo e multidisciplinar em uma organização para automatizar a entrega contínua de novas versões de software, enquanto é garantida sua confiabilidade e corretude [3]. Nesse contexto, DataOps incorpora princípios como comunicação, automação, colaboração entre equipes, entregas contínuas e melhorias contínuas, visando encurtar o tempo de desenvolvimento de análises de dados por meio da otimização das etapas de ponta a ponta, redução de custos e apoio na entrega de produtos de alta qualidade [1]. Essa metodologia pode ser combinada com o conceito de Data Mesh, uma solução arquitetural e organizacional de dados baseada na ideia da descentralização em domínios de dados, onde cada domínio é responsável por gerenciar seus próprios dados e produtos de dados. Data Mesh busca tratar dados como produtos de software para garantir a entrega de produtos de alta qualidade, aplicar ferramentas e infraestrutura de uso geral para os domínios, reduzindo a necessidade de especialização para operá-las, e impor governança federada para garantir interoperabilidade entre domínios e manter uma governança de dados robusta [4].Portanto, nesse projeto de doutorado, propomos contribuir para o avanço na pesquisa em Data Mesh em duas frentes, a primeira na forma da implementação de uma arquitetura de dados de código aberto e descentralizada para cenários onde uma governança de dados, transparência, e responsabilidades bem definidas são vitais para gerenciar dados sensíveis, e a segunda frente busca preencher a lacuna na literatura acadêmica em relação aos aspectos técnicos de implementação dessa abordagem por meio de uma metodologia de implementação de Data Mesh, assim como um mapeamento de tecnologias, metodologias, desafios, e soluções existentes.