Curso DP-750 Implement Data Engineering Solutions Using Azure Databricks

Módulo 1: Configuración e implementación de un entorno de Azure Databricks

• Exploración de Azure Databricks: visión general de la plataforma, workspaces y componentes principales
• Descripción de la arquitectura de Azure Databricks: plano de control, plano de datos y flujo de procesamiento
• Descripción de las integraciones de Azure Databricks: Azure Data Lake Storage, Azure Data Factory, Microsoft Fabric y otros servicios de Azure
• Selección y configuración de recursos de cómputo en Azure Databricks: tipos de clúster, políticas de clúster y SQL Warehouses
• Creación y organización de objetos en el catálogo de Unity: metastore, catálogos, esquemas y tablas

Módulo 2: Protección y control de objetos del catálogo de Unity en Azure Databricks

• Protección de objetos del catálogo de Unity: control de acceso basado en privilegios (GRANT/REVOKE), permisos a nivel de catálogo, esquema, tabla y columna
• Control de objetos del catálogo de Unity: enmascaramiento de datos, filtros de fila y auditoría del acceso a datos

Módulo 3: Preparación y procesamiento de datos con Azure Databricks

• Diseño e implementación del modelado de datos con Azure Databricks: arquitectura medallion (Bronze/Silver/Gold), esquemas en estrella y modelos de datos optimizados para analítica
• Ingesta de datos en el catálogo de Unity: carga incremental y completa, Auto Loader y streaming estructurado
• Limpieza, transformación y carga de datos en el catálogo de Unity: transformaciones con PySpark y Spark SQL, operaciones Delta Lake (merge, update, delete)
• Implementación y administración de restricciones de calidad de datos con Azure Databricks: expectativas (expectations) en Delta Live Tables y validaciones de esquema

Módulo 4: Implementación y mantenimiento de canalizaciones de datos y cargas de trabajo con Azure Databricks

• Diseño e implementación de canalizaciones de datos con Azure Databricks: Delta Live Tables (DLT), pipelines declarativos y gestión de dependencias entre tablas
• Implementación de trabajos de Lakeflow con Azure Databricks: orquestación de tareas, programación de trabajos y gestión de dependencias entre jobs
• Implementación de procesos del ciclo de vida de desarrollo en Azure Databricks: integración con Git, Databricks Asset Bundles (DAB), entornos de desarrollo y despliegue CI/CD
• Supervisión, solución de problemas y optimización de cargas de trabajo en Azure Databricks: Spark UI, métricas de rendimiento, optimización de consultas y gestión del almacenamiento Delta