DP-203: Data Engineering on Azure

DP-203: Data Engineering on Azure

32 horas
Live

Live com Instrutor

Apostila e Laboratórios

Plataforma Imersiva

Aula gravada para revisão

Certificado de Participação

CURSO OFICIAL MICROSOFT

Material oficial Microsoft e aulas ao vivo com instrutor MCT.

* Se precisar faltar, não se preocupe, pois disponibilizamos a gravação das aulas por 30 dias.

Neste curso, o aluno aprenderá a implementar e gerenciar cargas de trabalho de engenharia de dados no Microsoft Azure usando serviços do Azure como Azure Synapse Analytics, Azure Data Lake Storage Gen2, Azure Stream Analytics, Azure Databricks e outros. O curso se concentra em tarefas comuns de engenharia de dados, como orquestrar pipelines de transferência e transformação de dados, trabalhar com arquivos de dados em um data lake, criar e carregar data warehouses relacionais, capturar e agregar fluxos de dados em tempo real e acompanhar ativos de dados e linhagem.

Cortesia: ao contratar esse treinamento você ganhará a videoaula do curso DP-900: Fundamentos de Dados no Azure (8h).

Detalhes do produto

Perfil do Público

O público-alvo principal deste curso são profissionais de dados, arquitetos de dados e profissionais de business intelligence que querem saber mais sobre a engenharia de dados e a criação de soluções analíticas usando tecnologias de plataforma de dados que existem no Microsoft Azure. O público-alvo secundário deste curso inclui analistas de dados e cientistas de dados que trabalham com soluções analíticas criadas Microsoft Azure.

Pré-requisito

Ter participado dos cursos DP-900: Fundamentos de Dados no Azure e AZ-900: Microsoft Azure Fundamentals ou possuir conhecimentos equivalentes.

Exame

Preparatório para o exame DP-203: Data Engineering on Microsoft Azure, exigido na conquista da credencial Microsoft Certified Azure Data Engineer Associate.

* O exame não está incluso na contratação.

Conteúdo Programático

Introdução à engenharia de dados no Azure

O que é a engenharia de dados
Conceitos importantes sobre engenharia de dados
Engenharia de dados no Microsoft Azure

Introdução ao Azure Data Lake Storage Gen2

Entender o Azure Data Lake Storage Gen2
Habilite o Azure Data Lake Storage Gen2 no Armazenamento do Azure
Comparar o Azure Data Lake Storage com o Armazenamento de Blobs do Azure
Entenda as etapas do processamento de big data
Use o Azure Data Lake Storage Gen2 em cargas de trabalho de análise de dados

Introdução ao Azure Synapse Analytics

O que é o Azure Synapse Analytics
Como o Azure Synapse Analytics funciona
Quando usar o Azure Synapse Analytics

Usar o pool de SQL sem servidor do Azure Synapse para consultar arquivos em um data lake

Entender as funcionalidades e os casos de uso do pool de SQL sem servidor do Azure Synapse
Consultar arquivos usando um pool de SQL sem servidor
Criar objetos de banco de dados externos

Usar pools de SQL sem servidor do Azure Synapse para transformar dados em um data lake

Transformar arquivos de dados com a instrução create external table as select
Encapsular transformações de dados em um procedimento armazenado
Incluir um procedimento armazenado de transformação de dados em um pipeline

Criar um banco de dados Lake no Azure Synapse Analytics

Entender os conceitos do banco de dados Lake
Explorar modelos de banco de dados
Criar um banco de dados Lake
Usar um banco de dados Lake

Analisar dados com o Apache Spark no Azure Synapse Analytics

Conhecer o Apache Spark
Usar o Spark no Azure Synapse Analytics
Analisar dados com o Spark
Visualizar os dados com o Spark

Transformar dados com o Spark no Azure Synapse Analytics

Modificar e salvar dataframes
Particionar arquivos de dados
Transformar dados com o SQL

Usar o Delta Lake no Azure Synapse Analytics

Compreender o Delta Lake
Criar tabelas do Delta Lake
Criar tabelas de catálogo
Usar o Delta Lake com tipo de dados de streaming
Usar o Delta Lake em um pool de SQL

Analisar dados em um data warehouse relacional

Criar um esquema de data warehouse
Criar tabelas de data warehouse
Carregar tabelas de data warehouse
Consultar um data Warehouse

Carregar dados em um data warehouse relacional

Carregar tabelas de preparo
Carregar tabelas de dimensões
Carregar tabelas de dimensões temporais
Carregar dimensões variáveis lentas
Carregar tabelas de fatos
Executar a otimização pós-carregamento

Criar um pipeline de dados no Azure Synapse Analytics

Entender os pipelines no Azure Synapse Analytics
Criar um pipeline no Azure Synapse Studio
Definir fluxos de dados
Executar um pipeline

Usar notebooks do Spark em um pipeline do Azure Synapse

Noções básicas sobre notebooks e pipelines do Synapse
Usar uma atividade de notebook do Azure Synapse em um pipeline
Use parâmetros em um notebook

Planejar o processamento transacional e analítico híbrido usando o Azure Synapse Analytics

Entender os padrões do processamento transacional e analítico híbrido
Descrever o Link do Azure Synapse

Implementar o Link do Azure Synapse com o Azure Cosmos DB

Habilitar a conta do Cosmos DB para usar o Link do Azure Synapse
Criar um contêiner habilitado para repositório analítico
Criar um serviço vinculado para Cosmos DB
Consultar dados do Cosmos DB com o Spark
Consultar o Cosmos DB com o SQL do Synapse

Implementar Link do Azure Synapse para SQL

O que é o Link do Azure Synapse para SQL?
Configurar o Link do Azure Synapse para Banco de Dados SQL do Azure
Configurar o Link do Azure Synapse para SQL Server 2022

Introdução ao Azure Stream Analytics

Reconhecer fluxos de dados
Reconhecer o processamento de eventos
Entender as funções de janela

Ingerir dados de streaming usando o Azure Stream Analytics e o Azure Synapse Analytics

Cenários de ingestão de fluxo
Configurar entradas e saídas
Definir uma consulta para selecionar, filtrar e agregar dados
Executar um trabalho para ingerir dados

Visualizar dados em tempo real com o Azure Stream Analytics e o Power BI

Usar uma saída do Power BI no Azure Stream Analytics
Criar uma consulta para a visualização em tempo real
Criar visualizações de dados em tempo real no Power BI

Introdução ao Microsoft Purview

O que é o Microsoft Purview?
Como o Microsoft Purview funciona
Quando usar o Microsoft Purview

Integrar o Microsoft Purview e o Azure Synapse Analytics

Catalogar ativos de dados do Azure Synapse Analytics no Microsoft Purview
Conectar o Microsoft Purview a um workspace do Azure Synapse Analytics
Pesquisar um catálogo do Purview no Synapse Studio
Acompanhar linhagem de dados nos pipelines

Explorar o Azure Databricks

Introdução ao Azure Databricks
Identificar cargas de trabalho do Azure Databricks
Entender os principais conceitos

Usar Apache Spark no Azure Databricks

Conhecer o Spark
Criar um cluster Spark
Usar o Spark em notebooks
Usar o Spark para trabalhar com arquivos de dados
Visualizar dados

Executar os Notebooks do Azure Databricks com o Azure Data Factory

Entenda os notebooks e pipelines do Azure Databricks
Criar um serviço vinculado para o Azure Databricks
Use uma atividade do Notebook em um pipeline
Use parâmetros em um notebook

* os conteúdos podem sofrer alterações, visando melhorias e atualizações, sem prévio aviso

Cortesia

Ao contratar esse treinamento você ganhará a videoaula do curso DP-900: Fundamentos de Dados no Azure (8h).

Recursos

Inclui:

Aulas ao vivo com Instrutor credenciado e laboratórios oficiais;
Apostila digital oficial e certificado de participação;
Acesso a nossa plataforma de ensino imersiva e interativa com: videoaulas para revisão, acompanhamento do seu progresso e avaliação das aulas;

– Se precisar faltar, não se preocupe, pois disponibilizamos a gravação da sua turma por 60 dias.

– Após a contratação, você já terá acesso aos conteúdos e videoaulas completas disponíveis na nossa plataforma.

Prazo de Realização

O prazo máximo é de 6 meses para realizar a totalidade dos cursos e exames adquiridos, contados a partir da contratação. Exceto a cortesia (videoaula) cujo prazo de acesso é de 30 dias.

Por que estudar na green?

Mais de 3 décadas desenvolvendo profissionais;
Mais de 458.000 alunos treinados;
Mais de 8.000 empresas atendidas;
Centro Oficial Microsoft, AWS, Linux, CISCO e EXIN;
Centro de Exames VUE, PSI, PeopleCert e EXIN;
Turmas Abertas em Calendário ou Turmas Fechadas (ou In-Company);
Instrutores especialistas e dinâmicos com anos de experiência;
Módulos que aliam teoria à prática, preparando para o mercado e dia a dia.

Recursos

Aulas Live: ao vivo com o instrutor e demais alunos, tudo em tempo real, como se você estivesse em sala de aula. Você assiste às aulas de forma remota e interage com o professor por voz/vídeo ou chat, e detalhe: pode aprender de qualquer lugar, basta um computador/laptop com acesso à Internet;
O aluno tem acesso ao nosso LMS: videoaulas (exceto AWS) + recursos de apoio por no mínimo 30 dias;
Material didático digital e Certificado de conclusão de curso;
Suporte ao aluno por chat, telefone, e-mail ou presencial;
Você não está sozinho! Cuidamos da sua jornada de capacitação te auxiliando e acompanhando seu progresso.

Vantagens para empresas

Módulos Live/Presencial com flexibilidade de datas e horários: escolha a duração e o calendário que melhor se adequam à rotina da sua organização;
Desenvolvemos conteúdos personalizados em diversos formatos (presencial, live, videoaulas) para atender às diferentes necessidades das equipes;
Turmas fechadas: presencial na Green, Live ou in-company em qualquer lugar do Brasil;
Monitoramento contínuo dos planos de aprendizagem e relatórios do desempenho dos colaboradores.

FAÇA JÁ A SUA MATRÍCULA!

Selecione a Turma/Exame e matricule-se. Ou, se preferir, clique aqui, preencha o formulário e nossos consultores entrarão em contato para esclarecer suas dúvidas.
Se quiser conversar diretamente com nossos consultores, entre em contato por WhatsApp clicando aqui.

DP-203: Data Engineering on Azure