Data Analyst - Analyse de données en environnement Hadoop

Objectifs

Cette formation Data Analyst – Analyse de données en environnement Hadoop vous permettra de :

• Identifier le fonctionnement d'Hadoop Distributed File System (HDFS) et YARN/MapReduce


• Explorer HDFS


• Suivre l'exécution d'une application YARN


• Définir le fonctionnent et utiliser les différents outils de manipulation de la donnée :


• Hue : Utilisation de l'interface unifiée


• Hive, Pig : Les générateurs de MapReduce


• Tez : L'optimisation des générateurs de MapReduce


• Sqoop : Comment importer les données de l'entreprise dans un cluster Hadoop?


• Oozie : Comment organiser les exécutions des différentes applications ?

Syllabus

Introduction

• Présentation générale d'Hadoop


• Exemples d'utilisation dans différents secteurs


• Historique et chiffres clés : Quand parle-t-on de Big Data ?

L'écosystème d'Hadoop

• Le système de fichier HDFS


• Le paradigme MapReduce et l'utilisation à travers YARN

Manipulation des données dans un cluster Hadoop

• Hue : Comment fonctionne cette interface web ?


• Hive : Pourquoi Hive n'est pas une base de données ?


• Requête sur Hive


• Utilisation de HCatalog


• Utilisation avancée sur Hive


• Utilisation de fonctions utilisateurs


• Paramétrage de requête


• Pig : Fonctionnement de Pig


• Programmation avec Pig Latin


• Utilisation du mode Local


• Utilisation de fonctions utilisateurs


• Tez : Qu'est-ce que Tez ?


• Comment et quand l'utiliser ?


• Oozie : Fonctionnement de Oozie


• Création de Workflows avec Oozie


• Manipulation des Workflows


• Ajout d'éléments d'exploitation dans les Workflows


• Ajout de conditions d'exécution


• Paramétrage des Workflows


• Sqoop : A quoi sert Sqoop ?


• Chargement des données depuis une base de données relationnelle


• Chargement des données depuis Hadoop


• Utilisation et paramétrage avancée


• Les particularités des distributions : Impala, Hawq


• Quelles sont les bonnes pratiques d'utilisation des différents outils ?

Comment ?

Méthodes pédagogiques

1 poste et 1 support par stagiaire

8 à 10 stagiaires par salle

Remise d'une documentation pédagogique papier ou numérique pendant le stage

La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience

Évaluation

Auto-évaluation des acquis par le stagiaire via un questionnaire en ligne

Attestation de fin de stage remise au stagiaire