Programa práctico en Desarrollo Big Data con Apache Spark

Breve introducción al Big Data

• Qué es BigData
• Ecosistema de tecnologías Big Data y visión global

Conceptos básicos de programación para Spark

• Estructuras de datos en Scala y Python
• Estructuras de control y funciones en Scala y Python

Introducción a Apache Spark

Procesamiento de datos en Batch

• • Apache Spark
    • Instalación
    • Dependencias
• Apache Spark a fondo
  • RDD’s
    • Creación
    • Operaciones (Tranformaciones, acciones, evaluación lazy)
    • Ejercicios prácticos
    • Persistencia y almacenamiento
  • DataFrames
    • Formatos de fichero (CSV, JSON,Parquet..etc)
    • Operaciones (Tranformaciones, acciones, evaluación lazy)
    • Persistencia y almacenamiento
    • Ejercicios prácticos
  • DataSets
    • Operaciones (Tranformaciones, acciones, evaluación lazy)
    • Ejercicios prácticos
  • SQL API
    • Ejercicios prácticos
  • Ejecución en cluster
    • Driver y sus ejecutores
    • Cluster manager
    • Despliegue con spark-submit
  • Spark UI
    • DAG
    • Plan de ejecución
    • Optimización

Procesamiento de datos en Real Time

• Conceptos de procesamiento Real Time
• Apache Kafka
  • Productor
  • Consumidor
• Apache Spark a fondo
  • Spark Streaming
    • Operaciones
    • Ejercicios prácticos
  • Structured Streaming
    • Operaciones
    • Ejercicios prácticos
  • Spark UI Streaming
    • Optimización Streaming