Description
Dans cette formation, vous serez amenés à manipuler la distribution Cloudera (CDH 5.5+) En suivant des ateliers pratiques, vous serez en mesure de::
- Big Data: Cas d’utilisation, et écosystème
- Comprendre l’architecture et les services Hadoop: HDFS et YARN, innovations de la plateforme (TEZ,…)
- Manipuler les fichiers et les utilisateurs sur Hadoop
- Comprendre et écrire les Jobs Map/Reduce de Base
- Manipuler les Big Data Grâce aux langages évolués: Pig et Hive
- Ordonnancer et synchroniser les traitements, gérer et administrer les services hadoop
- Utiliser des entrepôts NoSQL de l’écosystème HDP: HBase et Solr
Volet pédagogique
Dans cette formation, vous serez amenés à manipuler la distribution Cloudera (CDH 5.5+)
En suivant des ateliers pratiques, vous serez en mesure de: :
- Utiliser la plateforme Cloudera CDH 5.5+ pour manipuler l’écosystème Hadoop
- Comprendre l’architecture de Hadoop, HDFS/YARN
- Manipuler le mode de commande / Console graphique pour gérer fichier/utilisateurs HDFS
- Comprendre, écrire et exécuter des jobs Map/Reduce de bas niveau
- Utiliser des langages de haut niveau comme Hive et Pig
- Administrer et gérer le cluster Hadoop ainsi que savoir orchestrer des Jobs de Calcul
- Manipuler des entrepôts NoSQL sur HDFS: HBase et Solr
Méthodes pédagogiques
Le sujet est à 80% Pratique. Les 20% de théorie sont nécessaires pour expliquer l’architecture Hadoop et les concepts derrière L’architecture d’un cluster Hadoop, Map/Reduce, Hbase ou Solr
Volet technologique
Architecture de l'application
- Système de Fichiers/ Module d’allocation de ressources distribués
- Data Store NoSQL
- Map/Reduce
Technologie utilisée
- La distribution Hadoopde Cloudera (Briques 100% Opensource): (Virtual Box - nécessite des machines d’au moins 8 Go de RAM)
- Apache Hadoop(HDFS, YARN), Hue, Hive, Pig,HBase, Impala,Oozie, Solr.
- Mode de commande Linux , Java 1.8 ou 1.7
Pré-requis
- • Un minimum de connaissances en Java(la JVM surtout), Un minimum de connaissance en mode de commande Linux.
- Une bonne connaissance de langage SQL
Plan de formation
Jour 1 : Introduction
- Introduction Aux Big Data: Cas d’utilisation
- Hadoop : écosystème, algorithms, etc…
- Hadoop : Architecture / HDFS & YARN
- Atelier 1 : Configuration et installation de Hadoop Cloudera
- Atelier 2 : HDFS : Utiliser les commandes Hadoop et la console web Hue pour explorer le HDFS sur le système Hadoop.
Jour 2 : Calculs sur Hadoop
- MapReduce 2 YARN
- Atelier 3 : MapReduce (Language - Java) :Créer, Compiler et déboguer votre programme MapReduce sous Eclipse ; Exécutez votre programme MapReduce, surveillez les travaux et visualisez la sortie dujournal sous Hadoop.
- Langages de Scripting de Haut Niveau
- Atelier 4 : Hive : assurer la persistance des données dans le HiveMegaStore, lancer des requêtes avec HiveQL, Faire des agrégations, jointures, trie avec HiveQL
- Atelier 5 : Pig : Charger des données avec Pig, Création de schéma, de lecture et d'écriture de données, Accès aux champs d’un schéma avec Pig, Affichage des données
Jour 3:No SQL et Hadoop
- HBase: Base de données orientée colonnes sur HDFS
- TP : Manipulation HBaseshell
- TP: stocker résultat de jobs Hive sur Table HBase
- Solr: Le moteur d’indexation Apache
- Intégration pour indexation HDFS
- TP: indexer des données Hadoop via Apache Solr
Jour 4 :SQL sous Hadoop (All on one)
- Formats de données sous HDFS : Avro
- SQL Impala : SQL Interactif (requêtes SQL à faible latence)sous HBase et HDFS.
- Sqoop : Importation des données relationnelles vers HDFS
- Atelier 7 : Interrogation des données structurées et non structurées sur CLOUDERA : Cet atelier pemet d’exploiter les différents outils de Big data (Hive, SQL Impala, sqoop,HDFS, Avro) pour faire exactement la même chose que vous savez déjà faire (interrogation des BDR) mais avec CDH (Cloudera Distribution Including Apache Hadoop
Jour 5 : Administration d’un Cluster Hadoop (YARN).
- Cluster Hadoop : Architecture et Administration
- Vagrant : auto administration d’un cluster Hadoop
- Gestion des noeuds dans un cluster Hadoop
- TP Ajout, dé/re-commissionnment, suppression noeuds.
Nous contacter sur le 27 862 155 , 54 828 018, 71 866 142
Durée :
5 jours
Cours du jours :
De 9h à 14h
Cours du soir & weekend :
De 18:30 à 21h , Samedi matin,dimanche matin ,de 9h à 13h
Facilité de paiement
Vous pouvez payer par facilité à savoir par chèque anti daté sur plusieurs mois
Vous êtes une entreprise :
La formation est éligible au dossier TFP (Taxe à la Formation Professionnelle), nous sommes à votre entière disposition pour vous fournir les documents nécessaires au vu de la déduction des frais de formation sur la TFP.
Merci de nous contacter sur le +216 71 866 142 , +216 27 862 155, +216 54 828 018 ou bien via emailcontact at ghazelatc.com