Tecnologia

Engenharia de Dados: Pipelines com Apache Spark

Projete e implemente pipelines de dados escaláveis usando Apache Spark para processamento de Big Data.

Avançado 3 fases 24 etapas 8h
Tecnologia

Engenharia de Dados: Pipelines com Apache Spark

Aprendizz

O que você vai aprender

1

Fundamentos do Apache Spark e Ecossistema

Explore a arquitetura do Spark, RDDs, DataFrames e os pilares de suas operações.

2

Construindo Pipelines ETL com Spark SQL e DataFrames

Aplique Spark SQL e DataFrames para operações essenciais de ETL: Extração, Transformação e Carga.

3

Otimização, Monitoramento e Deployment de Pipelines Spark

Aprenda a refinar, monitorar e implantar suas aplicações Spark para produção, garantindo máxima eficiência.

Sobre esta jornada

Prepare-se para dominar a arte da Engenharia de Dados com Apache Spark. Esta jornada aprofundará em como projetar, implementar e otimizar pipelines de dados escaláveis para processamento de Big Data. Você aprenderá desde os fundamentos da arquitetura Spark até técnicas avançadas de performance e deploy, capacitando-o a construir soluções robustas e eficientes.