BigData supervision:Grafana Kibana Graphite Prometheus

Objectifs

Connaître les outils et mécanismes permettant de superviser des fermes BigData. Identifier les critères de choix.

Syllabus

Supervision : définitions

Les objectifs de la supervision, les techniques disponibles. La supervision d'une ferme BigData.

Objets supervisés.Les services et ressources. Protocoles d'accès. Exporteurs distribués de données.

Définition des ressources à surveiller. Journaux et métriques.

Application aux fermes BigData : Hadoop, Cassandra, HBase, MongoDB

Mise en oeuvre

Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)

Produits : Prometheus, Graphite, ElasticSearch.

Présentation, architectures.

Les sur-couches : Kibana, Grafana.

JMX

Principe des accès JMX. MBeans. Visualisation avec jconsole et jmxterm.

Suivi des performances cassandra : débit d'entrées/sorties, charges, volumes de données, tables, ...

Prometheus

Installation et configuration de base

Définition des ressources supervisées, des intervalles de collecte

Démarrage du serveur Prometheus.

Premiers pas dans la console web, et l'interface graphique.

Exporteur JMX. Exporteur mongodb.

Démonstration avec Cassandra ou Hadoop/HBase.

Configuration des agents sur les noeuds de calculs. Aggrégation des données JMX. Expressions régulières.

Requêtage. Visualisation des données.

Graphite

Modèle de données et mesures

Format des données stockées, notion de timestamp

Types de mesures : compteurs, jauges, histogrammes, résumés.

Identification des ressources supervisées : notions d'instances, de jobs.

Démonstration avec Cassandra.

Comparaison avec Prometheus.

Exploration et visualisation des données

Mise en oeuvre de Grafana. Installation, configuration.

Pose de filtres sur Prometheus et remontée des données.

Etude des différents types de graphiques disponibles,

Aggrégation de données. Appairage des données entre Prométheus et Grafana.

Visualisation et sauvegarde de graphiques,

création de tableaux de bord et rapports à partir des graphiques.

Kibana, installation et configuration

Installation, configuration du mapping avec Elasticsearch.

Injection des données avec Logstash et Metribeat.

Architectures, paramétrages

Mapping automatique ou manuel

Configuration des indexes à explorer

Comment ?

Méthodes pédagogiques

La formation est constituée d'apports théoriques, d'exercices pratiques, de réflexions et de retours d'expérience

Moyens pédagogiques

1 poste et 1 support par stagiaire

8 à 10 stagiaires par salle ou en classe virtuelle

Remise d'une documentation pédagogique papier ou numérique pendant le stage

Évaluation

Auto-évaluation des acquis par le stagiaire via un questionnaire en ligne

Attestation de fin de stage remise au stagiaire

Certification DIGITT en option, Code CPF 235908

(Financement possible Action Collective ATLAS, ex-fafiec)