Monta un cluster Hadoop Big Data desde cero

Contenido del curso
Introducción al curso
Nota sobre la valoración del curso
Introducción y repaso de Big Data
Video aclaratorio sobre el uso de hadoop 3 en el curso
Introducción a Hadoop
Herramientas y productos asociados a Hadoop
Distribuciones Hadoop
Introducción a la sección
Infraestructura necesaria
NOTA IMPORTANTE SOBRE VIRTUALBOX 6 Y CENTOS
Descarga e instalación de Oracle Virtual Box
Descarga del Sistema Operativo Linux CentOS
Preparación de la máquina virtual
Instalación de CentOS
Instalar las Guest Additions en la Máquina virtual
MÁQUINAS VIRTUALES PREPARADAS y material adicional
Descarga de Hadoop
Preparar el software de Hadoop
Instalar las JDK
Primer vistazo a Hadoop
Configuración de variables de entorno
Comprobar que Hadoop funciona
Práctica-Guía paso a paso de lo realizado hasta ahora en la sección
Configurar SSH
Práctica-Guía detallada de configuración SSH
Introducción a HDFS
Cluster Pseudistribuido (core-site.xml)
Cluster Pseudodistribuido (hdfs-site.xml)
Cluster Pseudodistribuido (Formatear HDFS)
Arrancar HDFS
Anexo: Cambio en el puerto WEB en la Versión 3 de Haddoop
Web de Administración de HDFS
Práctica- Guía detallada de configuración HDFS
23-Trabajar con HDFS-fsimage y edits
Práctica-Uso de Fsimage y Edits
Trabajar con ficheros
HDFS-Trabajar con ficheros Parte 2
HDFS-Trabajar con ficheros Parte 3
Práctica- Trabajar con HDFS
HDFS-Algunos comandos de administración
Práctica-Administración de HDFS
HDFS-Snapshots
Práctica-Snapshots
Yarn y Map Reduce
Funcionamiento de YARN
Configurar YARN en un cluster
Web de Administración de YARN
Práctica-Guía detallada para montar un cluster PseudoDistirbuido
HADOOP 3:Modificación en YARN-SITE para Hadoop 3
Funcionamiento de Map Reduce
Un ejemplo con Map Reduce
Práctica-Trabajar con MapReduce
Un ejemplo de Map Reduce desde código Java
Práctica-Crear programas Map Reduce con Java
Un ejemplo de Map Reduce con streaming-Python
Práctica-Crear un Map Reduce con Python y Streaming
Clonar el nodo Hadoop
Clonar el nodo Hadoop Parte 2
Configurar la red en los nodos
Configurar SSH entre los nodos
HADOOP 3- ​CAMBIO DE NOMBRE DEL FICHEROS DE NODOS ESCLAVOS
Modificar los ficheros de configuración del Cluster
Arrancar el cluster
Práctica- Montar un cluster real
Probar un proceso Map Reduce contra el Cluster
Práctica-Lanzar un proceso MapReduce contra el cluster
Práctica-Streaming con comandos Shell de Linux
Práctica-Lanzar un programa Python contra el cluster
Comando YARN. Gestionar el cluster
Práctica-Comando YARN
Yarn Scheduler. Introducción
Yarn Scheduler- Ver su funcionamiento
Yarn-Scheduler. Configuración
Yarn Scheduler. Lanzar procesos MapReduce contra una cola
Práctica- Trabajar con el Yarn Scheduler
Introducción a las siguientes secciones
Introducción a Hive
Instalación y configuración inicial
Comandos HIVE
Configurar HDFS para usr HIVE
Primeros pasos-Crear Bases de Datos y Tablas
Hive-Primeros Pasos Parte2
Prácticas- Instalar, Configurar, Crear Bases de datos
Tablas internas y LOAD
Tablas Externas
Prácticas- Crear tablas externas e internas con columnas complejas
Conexiones remotas. HiveServer2 y Beeline
Ejemplo Real. Deslizamientos de Tierra. Parte 1
Ejemplo Real. Deslizamientos de Tierra. Parte 2. Hasta Excel
Recursos de la práctica anterior
Introducción a HUE
Compilar e instalar HUE
Práctica-Compilar HUE
Configurar y arrancar HUE
Práctica- Configurar y arrancar HUE
Un paseo por HUE
Introducción a SQOOP
Instalar y configurar Sqoop
Comandos SQOOP
Descargar Oracle Express 11g
Instalar Oracle Express 11g
Comprobar que Oracle funciona
Configurar Oracle y JDBC
Importar datos de Oracle a HDFS
Práctica. Importar datos con Sqoop