M2i Formation - BIG-SPK - Spark Scala - Traitement Des Données

Développez vos talents
Certiiez vos compétences
Big Data - Développement
Spark Scala - Traitement des données

3 jours (21h00) | 9 4,6/5 | BIGSPK | Évaluation qualitative de in de stage |
Formation délivrée en présentiel ou distanciel
Formations Informatique › Big Data › Big Data - Développement
Document mis à jour le 13/02/2024
Objectifs de formation
A l'issue de cette formation, vous serez capable de :
– Naviguer dans l'écosystème Spark en utilisant Scala comme langage de programmation.
Modalités, méthodes et moyens pédagogiques

Formation délivrée en présentiel ou distanciel* (blended-learning, e-learning, classe virtuelle,
présentiel à distance).
Le formateur alterne entre méthode** démonstrative, interrogative et active (via des travaux
pratiques et/ou des mises en situation).
Variables suivant les formations, les moyens pédagogiques mis en oeuvre sont :
– Ordinateurs Mac ou PC (sauf pour certains cours de l'offre Management), connexion internet
ibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour
le distanciel)
– Environnements de formation installés sur les postes de travail ou en ligne
– Supports de cours et exercices
En cas de formation intra sur site externe à M2i, le client s'assure et s'engage également à avoir
toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques...)
au bon déroulement de l'action de formation visée conformément aux prérequis indiqués
dans le programme de formation communiqué.
* nous consulter pour la faisabilité en distanciel
** ratio variable selon le cours suivi
Prérequis
Connaître la programmation fonctionnelle et avoir des connaissances sur la gestion des bases
de données.
Public concerné
Statisticiens, consultants Big Data, data analysts, data scientists.
1/4 m2iformation.fr | client@m2iformation.fr | 01 44 53 36 00 (Prix d'un appel local)

Cette formation :
– Est animée par un consultant-formateur dont les compétences techniques, professionnelles
et pédagogiques ont été validées par des diplômes et/ou testées et approuvées par l’éditeur
et/ou par M2i Formation
– Bénéicie d’un suivi de son exécution par une feuille de présence émargée par demi-journée
par les stagiaires et le formateur.
Programme
Jour 1
Introduction à Scala pour Apache Spark
– Présentation de Scala
– Pourquoi Scala avec Spark ?
– Scala dans les autres framework
– Introduction à Scala REPL
– Les opérations basiques sur Scala
– Les types de variables dans Scala
– Les structures de contrôles dans Scala
– Les boucles
– Les fonctions
– Les procédures
– Les collections dans Scala (Array, ArrayBuffer, Map, Tuples, Lists...)
Introduction au Big Data et Apache Spark

– Introduction au Big Data
– Les challenges du Big Data
– Batch vs le temps réel dans le Big Data Analytics
– Analyse en Batch Hadoop
– Vue d'ensemble de l'écosystème
– Les options de l'analyse en temps réel
– Streaming Data Spark
– In-memory Data Spark
– Présentation de Spark
– Ecosystème Spark
– Les modes de Spark
– Installation de Spark
– Vue d'ensemble de Spark en cluster
– Spark Standalone cluster
– Spark Web UI
Jour 2
Les opérations communes sur Spark
– Utilisation de Spark Shell
– Création d'un contexte Spark
– Chargement d'un ichier en Shell
– Réalisation d'opérations basiques sur un ichier avec Spark Shell
– Présentation du l'environnement de développement SBT
– Créer un projet Spark avec SBT
– Exécuter un projet Spark avec SBT
– Le mode local

– Le mode Spark
– Le caching sur Spark
– Persistance distribuée
Introduction aux RDD et DataFrame

– Transformations dans le RDD
– Actions dans le RDD
– Chargement de données dans RDD
– Enregistrement des données à travers RDD
– Paire clé-valeur "RDD MapReduce" et les paires "RDD Operations"
– Intégration HDFS avec Spark et Hadoop
– Intégration YARN avec Spark et Hadoop
– Gestion des ichiers de séquences et les partitionner
Exemple de travaux pratiques (à titre indicatif)
– Data PreProcessing avec Spark DataFrame
Jour 3
Spark Streaming et MLlib
– Architecture de Spark Streaming
– Premier programme avec Spark Streaming
– Les transformations dans Spark Streaming
– La "fault tolerance" dans Spark Streaming
– Checkpointing
– Niveaux de parallélismes
– Machine Learning avec Spark
– Types de données
– Algorithmes et statistiques
– Classiication et régression
– Clustering
– Filtrage collaboratif
GraphX, SparkSQL et amélioration des performances dans Spark

– Analyse de l'architecture de Hive et Spark SQL
– SQLContext dans Spark SQL
– Travailler avec les DataFrames
– Implémentation d'un exemple pour Spark SQL
– Intégration de Hive et Spark SQL
– Support pour JSON et les formats des "Parquet File"
– Implémentation de la Data Visualization avec Spark
– Chargement de données
– Les requêtes Hive à travers Spark
– Les techniques de tests dans Scala
– Les astuces d'amélioration de performance dans Spark
– Les variables partagées
– Diffusion des variables
– Partage de variables
– Accumulateurs
Le contenu de ce programme peut faire l'objet d'adaptation selon les niveaux, prérequis et besoins des apprenants.
Modalités d’évaluation des acquis
– En cours de formation, par des études de cas ou des travaux pratiques

– Et, en in de formation, par un questionnaire d'auto-évaluation

Accessibilité de la formation
Le groupe M2i s'engage pour faciliter l'accessibilité de ses formations. Les détails de l'accueil
des personnes en situation de handicap sont consultables sur la page Accueil et Handicap.
Modalités et délais d’accès à la formation

Les formations M2i sont disponibles selon les modalités proposées sur la page programme.
Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation.
Dans le cas d'une formation inancée par le CPF, ce délai est porté à 11 jours ouvrés.

M2i Formation - BIG-SPK - Spark Scala - Traitement Des Données

Transféré par

Droits d'auteur :

Formats disponibles

M2i Formation - BIG-SPK - Spark Scala - Traitement Des Données

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

M2i Formation - BIG-SPK - Spark Scala - Traitement Des Données

Transféré par

Droits d'auteur :

Formats disponibles

Développez vos talents

Certiiez vos compétences

Big Data - Développement

Spark Scala - Traitement des données

Document mis à jour le 13/02/2024

– Naviguer dans l'écosystème Spark en utilisant Scala comme langage de programmation.

Modalités, méthodes et moyens pédagogiques

* nous consulter pour la faisabilité en distanciel

** ratio variable selon le cours suivi

1/4 m2iformation.fr | client@m2iformation.fr | 01 44 53 36 00 (Prix d'un appel local)

Introduction au Big Data et Apache Spark

2/4 m2iformation.fr | client@m2iformation.fr | 01 44 53 36 00 (Prix d'un appel local)

Introduction aux RDD et DataFrame

Exemple de travaux pratiques (à titre indicatif)

– Data PreProcessing avec Spark DataFrame

GraphX, SparkSQL et amélioration des performances dans Spark

Modalités d’évaluation des acquis

– En cours de formation, par des études de cas ou des travaux pratiques

3/4 m2iformation.fr | client@m2iformation.fr | 01 44 53 36 00 (Prix d'un appel local)

Modalités et délais d’accès à la formation

4/4 m2iformation.fr | client@m2iformation.fr | 01 44 53 36 00 (Prix d'un appel local)

Vous aimerez peut-être aussi

Pfad - The Proxy pFad of © 2024 Garber Painting. All rights reserved.