Hadoop - Cloudera pour architectes et administrateurs

Objectifs

Cette formation Hadoop – Cloudera pour architectes et administrateurs vous permettra de savoir :

• Élaborer une architecture Hadoop


• Identifier le fonctionnement Hadoop Distributed File System (HDFS) et YARN / MapReduce


• Exploiter et gérer un cluster Hadoop


• Configurer Hadoop et ses outils


• Mettre en œuvre un cluster Hadoop


• Gérer la maintenance des nœuds dans un cluster


• Déplacer et gérer les données dans un cluster


• Administrer un cluster Hadoop

Syllabus

Introduction

• Présentation générale d'Hadoop


• Exemples d'utilisation dans différents secteurs


• Historique et chiffres clés : Quand parle-t-on de Big Data ?


• Les possibilités d'implantation de l'infrastructure et les coûts associés

L'écosystème d'Hadoop

• Le système de fichier HDFS


• Le paradigme MapReduce et l'utilisation à travers YARN


• Le garant des informations : Zookeeper


• Le système de stockage de la donnée basé sur le socle : HBase


• La présentation de l'architecture globale : où installer les services ?


• La définition du dimensionnement pour un cluster Hadoop


• Les particularités de MapR

Installation du socle d'Hadoop

• Installation et configuration manuelle pas-à-pas sur plusieurs machines de : HDFS, YARN, Zookeeper, HBase

Manipulation des données dans un cluster Hadoop

• Architecture, Objectif et fonctionnement de : Hue, Hive, Pig, Oozie, Sqoop, Flume, Spark


• Mise en pratique sur les différents outils

Exploitation d'un cluster Hadoop

• Architecture, objectif et fonctionnement du Manager : MapR Control System


• Mise en pratique

Concepts d'architecture complexe

• Architecture en rack : les avantages et fonctionnement et paramétrage du rack awareness


• Scalabilité et performances : le Namenode Federation


• High Availability des serveurs maîtres


• Utilisation des snapshots : sauvegarde et restauration

Comment ?

Méthodes pédagogiques

1 poste et 1 support par stagiaire

8 à 10 stagiaires par salle

Remise d'une documentation pédagogique papier ou numérique pendant le stage

La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience

Évaluation

Auto-évaluation des acquis par le stagiaire via un questionnaire en ligne

Attestation de fin de stage remise au stagiaire