Big Data - Concevoir et piloter un projet

Objectifs

Cette formation Concevoir et piloter un projet Big Data vous permettra de :

• Comprendre et traiter les spécificités d'un projet Big Data au sens organisationnel, méthodologique, technologique, économique, juridique et humain


• Composer et piloter une équipe Big Data


• Manager le processus de mise en place d'un projet Big Data


• Identifier les besoins et le type de données à traiter avec les métiers (use cases)


• Organiser la collecte et le stockage des données


• Déterminer l'exploitation des données


• Mettre en œuvre l'analyse des données


• Sélectionner une méthode de visualisation des données


• Piloter et maîtriser les risques des projets Big Data


• Réaliser des tests et analyses de performances


• Consolider ses connaissances à travers un cas d'usage

Syllabus

Comprendre et traiter les spécificités d'un projet Big Data au sens organisationnel, méthodologique, technologique, économique, juridique et humain

• Bâtir une vision Data Centric pour l'entreprise


• Etudier l'environnement concurrentiel de l'entreprise


• Comment créer de la valeur ou apporter de la valeur complémentaire aux données


• Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse


• Comprendre les acteurs du Big Data et leur positionnement


• Quelle Gouvernance mettre en place


• Quel impact dans la relation DSI / Métiers


• L'émergence de la culture DevOPS


• Les nouvelles méthodologies de développement


• Découvrir le Visual Thinking


• Les impacts organisationnels


• Comment positionner le Big Data face à l'existant ?


• Quelles sont les possibilités offertes par le Big Data ?


• La gestion des données personnelles


• Surveillance et sanctions de la CNIL


• Les nouveaux profils du Big Data


• Présentation de l'Ecosysteme Hadoop et des distributions du marché


• Concepts des Systèmes NoSql

Composer et piloter une équipe Big Data

• Définition des profils en fonction des typologies de projet


• Les nouveaux profils du Big Data


• L'architecte des données


• Le Data Steward


• L'administrateur Hadoop


• Le Data Scientist


• Le Data Analyst


• Les développeurs Java Hadoop


• Les développeurs apache Spark

Manager le processus de mise en place d'un projet Big Data

• Le cadrage du projet


• Cadrage métier identification des cas d'usages


• Cadrage technique identification des cas d'usage


• Identification des sources de données


• Évaluation des besoins technologiques


• Estimation budgétaire et planification projet


• Management de projet Big Data


• Définition de la méthodologie de gestion de projet


• Mise en place de la structure de gouvernance du projet


• Définition de la liste des livrables


• Traitement des obligations juridiques: CNIL, propriétés intellectuelles


• Compétences & organisation des projets Big Data


• Identification des compétences nécessaires


• Mise en place des différentes équipes projet (profils DSI, experts métiers, Data Scientists et Data Steward)


• Mise en place des outils de pilotage


• Déploiement des outils de data préparation


• Mise en place des outils d'alimentation


• Modélisation de la structure d'accueil des données au sein du Data Lake (landing area)


• Mise en place des outils de développements (externe à la plateforme Big data si nécessaire)


• Mise en place des outils d'exposition des données

Piloter et maîtriser les risques des projets Big Data

• Les enjeux réglementaires et la conformité : la dimension "Gouvernance" du projet


• La disponibilité effective des données (en regard des différents contrats souscrits auprès des fournisseurs de données)


• La maîtrise du format des données


• La disponibilité des acteurs en charge de vous fournir les données


• Anticiper la volumétrie attendue


• Savoir correctement modéliser la structure d'accueil des données


• Avoir une bonne vision des traitements à effectuer et leur performance en regard de la volumétrie attendue


• Choisir avec soin son outil de modélisation prédictif (capable de gérer une forte volumétrie)


• Maîtriser sa solution de datavisualisation et s'assurer de sa compatibilité avec le Big Data

Tests et analyses de performances

Tests de performances

Objectif : Tests sur un ou plusieurs scénarios sous une charge modérée du système complet et/ou d'un sous-système nécessitant un point d'attention

• Exemple : La souscription est testée pour 1 utilisateur et, pour chaque étape du use case, on mesure le temps passé dans les différents composants de l'application


• Test de vieillissement

Objectif : Déterminer la capacité de l'application à fonctionner sur une période étendue

• Exemple : On simule l'utilisation de l'application pendant 48h, avec une charge constante et égale à la charge moyenne


• Test de charge

Objectif : Mesurer la tenue en charge de l'application sur la population cible

• Exemple : On simule l'utilisation de l'application par 200 utilisateurs (avec des scénarios différents) en parallèle pendant 2h


• Test de rupture / Stress test

Objectif : Déterminer les limites de l'application

• Exemple : On augmente le nombre d'utilisateurs en parallèle sur l'application jusqu'à ce que le taux d'erreurs / les temps de réponse ne soient plus acceptables


• Choix des scénarios


• Choix des métriques


• Choix de l'outillage

Etudes de cas / mises en situation

• Mission de choix d'outil et montée en compétence


• Déploiement de distributions Hadoop différente et réalisation d'un test de performance

Comment ?

Méthodes pédagogiques

1 poste et 1 support par stagiaire

8 à 10 stagiaires par salle ou en classe virtuelle

Remise d'une documentation pédagogique papier ou numérique pendant le stage

La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience

Évaluation

Auto-évaluation des acquis par le stagiaire via un questionnaire en ligne

Attestation de fin de stage remise au stagiaire

Certification DIGITT en option, Code CPF 235908

(Financement possible Action Collective ATLAS, ex-fafiec)