Hadoop - Cloudera / Hortonworks pour développeurs

Objectifs

Cette formation Hadoop – Cloudera / Hortonworks pour développeurs vous permettra :

• Réaliser une étude en profondeur dans les développements des applications Hadoop 2.0


• Définir et à développer des applications MapReduce(Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0


• Exploiter toute la puissance d'Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop

Syllabus

Introduction

• Présentation générale d'Hadoop


• Exemples d'utilisation dans différents secteurs


• Historique et chiffres clés : Quand parle-t-on de Big Data ?

HDFS : interfacage avec Java

• Le système de fichier Hadoop Distributed File System (HDFS)


• Lecture et écriture sur le HDFS


• Manipulation des types de fichier SequenceFile


• Qu'est-ce que le DistributedCache et comment partager les références ?

MapReduce/YARN : principe et développement Java

• Le paradigme MapReduce et l'utilisation à travers YARN


• Implémentation de problématiques réelles avec le paradigme MapReduce


• Implémentation de problématiques plus complexes


• Utilisation des combinateurs et partitionners


• Les bonnes pratiques pour le développement des applications MapReduce

Manipulation des données avec un Query language et Java

• Présentation et fonctionnement de HBase, Hive et PIG


• HBase et Hive : JDBC et requêtes


• Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)


• Pig : Développement et intégration avec JAVA


• Extension de PIG avec des fonctionnalités développées : UDF (User-Defined Functions)

Comment ?

Méthodes pédagogiques

1 poste et 1 support par stagiaire

8 à 10 stagiaires par salle

Remise d'une documentation pédagogique papier ou numérique pendant le stage

La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience

Évaluation

Auto-évaluation des acquis par le stagiaire via un questionnaire en ligne

Attestation de fin de stage remise au stagiaire