Formation Spark.
Score de satisfaction : 4.33/5
Durée :
3 jours
27/01/2025 à Paris
numero vert : 0805 950 800 (service et appel gratuits)
Spark
à partir de
2250 €HT

Référence :
SF33388
Durée :
3 jours

Réservez vos places pour la session du
Vous souhaitez une session sur-mesure (intra) ?
Ce stage comprend
 21 heures de formation
Pauses et snacks à volonté
Prise en charge OPCO possible
Disponible à distance

Formation Spark.

Traitez les données massives en un temps record grâce au moteur d'analyse Apache Spark et à notre formation Spark !

Apache Spark est un moteur d'analyse unifié (Unified Analytics Engine), créé pour le traitement rapide des données. Ce framework open source de calcul distribué permet l'analyse et le traitement de données à grandes échelles. Le framework permet le développement d'applications de traitement hautement performantes. Notre formation Apache Spark vous permettra de développer des applications permettant de traiter de larges quantités de données en temps réel et l'intégrer notamment dans un environnement Hadoop pour améliorer le temps d'exécution des applications Hadoop !

Objectifs pédagogiques.

1Expliquer le fonctionnement d'Apache Spark et ses relations avec le Big Data et Hadoop

2Utiliser les RDD pour gérer les opérations et MapReduce

3Intégrer et utiliser HDFS avec Spark

4Mettre en place et déployer une structure de cluster Spark

5Appliquer le partitionnement et la programmation parallèle sur les données HDFS

6Concevoir et générer une application Spark

7Implémenter Spark Streaming pour le traitement des données en temps réel

8Appliquer des algorithmes de Machine Learning avec MLlib et optimiser Spark

Partagez cette formation

Programme de formation Spark.

PDF

Présentation de Apache Spark

Spark et le Big Data
Fonctionnement de Apache Spark
Spark et Hadoop: deux solutions différentes et complémentaires
Spark Shell
Environnement de travail
Outils

RDD (Resilient Distributed Datasets)

Fonctionnement
Cas d’usages
Gestion des opérations de RDD
MapReduce pour le RDD
Spark SQL

Combiner Spark à HDFS (Hadoop Distributed File System)

Intérêts
Cas d’usages
Intégration à Spark de HDFS
Utilisation de HDFS

Spark en cluster

Création d’une structure en clusters
Héberger la structure
Déployer la structure
Interface Web de Spark

Programmation parallèle, Partitionnement

Localiser les données du HDFS
Partitionnement de RDD
Programmation d’opérations parallèles
Exécution
Mise en cache du partitionnement
Gestion de la persistance des données

Conception d’une application à l’aide de Spark

Présentation de Spark
Configuration
Prototyper des opérations avec Spark Shell
Compiler
Générer l’application

Spark Streaming pour le traitement des données en temps réel

Fonctionnement
Principes de base
DStream
Intégrer, transformer des DStreams
Opérations de sortie
Gérer les performances

Implémenter des algorithmes, Machine Learning

Résoudre les problèmes à l’aide d’algorithmes itératifs
Machine Learning Library MLlib
Opérations sur les données graphiques

Optimiser Spark

Gérer les variables partagées
Données broadcastées
Accumulateurs
Optimiser les performances: méthodes et outils

Notre charte qualité et éthique.

A travers sa Charte Engagement Qualité, Sparks s’engage à tout mettre en œuvre pour que chaque session de formation soit un succès et que votre satisfaction soit totale.

En apprendre davantage sur Spark.

Initialement développé à UC Berkeley en 2009, Spark est un framework open source désormais géré par Apache. Ce framework écrit en Scala accepte également des tâches écrites en Java et en Python. Le but du framework est le traitement des grandes quantités de données associées au Big Data.
Dans la lignée de Hadoop mais différent, Apache Spark permet un traitement jusqu’à 100 fois plus rapide qu’Hadoop pour les larges quantité de données. En 2014, Spark avait notamment battu le record détenu par Hadoop en traitant 100 TB de données en 23 mins à l’aide de 206 machines contre 72 minutes à l’aide de 2100 machines pour Hadoop. La formation Apache Spark par Sparks a donc pour but principal le traitement de données. Elle s’installe donc notamment dans une démarche du Big Data, afin de pouvoir traiter la quantité colossale de données qui peuvent être générées dans les entreprises.

Spark étant un framework open source, il permet d’être incorporé gratuitement dans du code pour le développement d’applications de traitement de données très performantes. Cette formation vous permettra en premier lieu de comprendre et maîtriser le framework Spark, puis de développer des applications en utilisant ce dernier. Cette formation par Sparks de 3 jours est disponible en présentiel ou à distance !

Amandine de Sparks
Des chiffres étincelants.
19 années
à vos côtés
+ de 1000
sujets de formation
8155
stagiaires formés en 2023
238
formateurs actifs en 2023
97,9%
de stagiaires satisfaits
24622
heures de formation réalisées en 2023
HAUT