Formation Talend Open Studio for Big Data, exploiter vos données massives

Description

La plateforme d'intégration de données de Talend étend ses possibilités aux technologies Big Data que sont Hadoop (HDFS, HBase, HCatalog, Hive et Pig) et les bases NoSQL Cassandra et MongoDB. Ce stage vous apportera les bases pour bien utiliser les composants Talend crées pour communiquer avec les systèmes Big Data.

Objectifs pédagogiques

  • Lire/écrire des données sur HDFS/HBase/HCatalog

  • Réaliser des jobs de transformation à l'aide de Pig et Hive

  • Utiliser Scoop pour faciliter la migration de bases de données relationnelles dans Hadoop

  • Mettre en oeuvre les bases NoSQL MongoDB et Cassandra dans des jobs Talend

Travaux pratiques

Succession de mini-projets donnant lieu à la conception de jobs Talend Big Data de difficulté croissante.

PROGRAMME DE FORMATION

Présentation de Talend Open Studio for Big Data

  • Problématique du Big Data : le modèle de 4V, les cas d'usage.

  • L'écosystème Hadoop (HDFS, MapReduce, HBase, Hive, Pig...).

  • Données non structurées et base de données NoSQL.

  • TOS for Big Data versus TOS for Data Integration.

Travaux pratiques 
Installation/configuration de TOS for Big Data et d'un cluster Hadoop (Cloudera ou Hortonworks), vérification du bon fonctionnement.

Mise en oeuvre de HDFS, HBase et HCatalog

  • Définition des métadonnées de connexion du cluster Hadoop.

  • Gestion des ressources HDFS : les principaux composants Talend.

  • Connexion à HBase, création, lecture/écriture dans une table HBase.

  • Configuration HBase, mode local versus mode distribué.

  • Création de bases de données, tables et de partitions via HCatalog.

  • Lecture de tweets (composants d'extension).

Travaux pratiques 
Lire des tweets et les stocker sous forme de fichiers dans HDFS, analyser la fréquence des thèmes abordés et mémorisation du résultat dans HBase.

Effectuer des traitements à l'aide de Pig

  • Le langage de script Pig Latin, Pig versus SQL.

  • Principaux composants Pig de Talend, conception de flux Pig.

  • Exécution de scripts Pig (tPigCode).

  • Configuration des propriétés associées à l'usage de MapReduce.

  • Développement de routines UDF.

Travaux pratiques 
Dégager les tendances d'utilisation d'un site Web à partir de l'analyse de ses logs.

Exploiter Hive

  • Métadonnées de connexion et de schéma Hive.

  • Le langage HiveQL.

  • Conception de flux Hive, exécution de requêtes.

  • Mettre en oeuvre les composants ELT de Hive.

Travaux pratiques 
Stocker dans HBase l'évolution du cours d'une action, consolider ce flux avec Hive de manière à matérialiser son évolution heure par heure pour une journée donnée.

Autres aspects couverts par Talend for Big Data

  • Utiliser Scoop pour importer, exporter, mettre à jour des données entre systèmes RDBMS et HDFS.

  • Support Talend des bases de données NoSQL (MongoDB et Cassandra).

  • Conception de jobs MapReduce et Spark Streaming.

  • Configuration avancée des composants du cluster (zookeeper, resource manager, job history...).

 


 Mokhtar Sellami

I am Mokhtar Sallami, certified in IBM Big Data Specialist with IBM BigInsights V2.1. I m a Technologist Lecturer in computer science at the High Institute of Technological Studies of KEF, Tunisia. I’m a CEO founder of Enodis Web start-up ( 2008-2012). I’ve worked as web Freelancer for Enode (https://www.linkedin.com/company/499839?trk=prof-exp-company-name). I am Big Data Trainer (IBM BigInsights, Cloudera) at the UIT, EPI, ISET Kef. I’ve participated as Cloudera Trainer at First International Spring school of Big Data and Cloud Computing (http://www.i2sbd2c.tn/index.html )


Nous contacter sur le 27 862 155 , 54 828 018, 71 866 142


Durée : 3 jours

Cours du jours : 

De 9h à 15h

Cours du soir & weekend : 

De 18:30 à 21h , Samedi matin,dimanche matin ,de 9h à 13h

Parrainez une seul personne et recevez une réduction de 30 % 
Parrainez une deuxième personne et recevez une réduction immédiate de 100 %

Vous êtes une entreprise : 
Nous sommes à votre entière disposition pour vous fournir les documents nécessaires au vu de la déduction des frais de formation sur la TFP(Taxe à la Formation Professionnelle).


Talend Open Studio for Big Data

 2105  vue Vues


Prochaine sessions:

Nous consulter


Durée:

3 jours


Confirmation de la session:

Une semaine avant la date prévue

Agile Scrum par la pratique

Angular mode projet

Big data par la pratique

Bootcamp Java Spring Angular

Bootcamp Java Spring Angular

DevOps

DevOps Tools Engineer par la pratique

ISTQB version 2018

Java 8 1Z0-808

Java 8 mode projet

Reconversion : Devenir développeur J2ee Angular de Zéro

Selenium par la pratique

Confirmation de la session:

Une semaine avant la date prévue


Recommandé pour:

Développeur , chef de projet ,entrepreneur


A propos du lieu de la formation

Nous pouvons aussi nous déplacer dans vos locaux (formation intra-entreprise).

N'hésitez pas également à proposer d'autres dates ou lieux, si ceux proposés ne vous conviennent pas.


A la fin de la formation:

Vous aurez un certificat de formation agréé par l'état