Formation Spark.
96% de clients Sparks satisfaits (3317 notes)
Durée :
3 jours
22/06/2022 à Aix-en-Provence
numero vert : 0805 950 800 (service et appel gratuits)
Spark
à partir de
1470 €HT
Formation référencée Datadock

Référence :
SF33388
Durée :
3 jours
TP :
50%

Disponible en distanciel et dans 17 villes
Ce stage comprend
 21 heures de formation
50% de travaux pratiques
Pauses et snacks à volonté
Prise en charge OPCO possible
Disponible à distance

Formation Spark.

Traitez les données massives en un temps record grâce au moteur d'analyse Apache Spark et à notre formation Spark !

Apache Spark est un moteur d'analyse unifié (Unified Analytics Engine), créé pour le traitement rapide des données. Ce framework open source de calcul distribué permet l'analyse et le traitement de données à grandes échelles. Le framework permet le développement d'applications de traitement hautement performantes. Notre formation Apache Spark vous permettra de développer des applications permettant de traiter de large quantités de données en temps réel et l'intégrer notamment dans un environnement Hadoop pour améliorer le temps d'exécution des applications Hadoop !

Objectifs pédagogiques.
Prérequis : Connaissances basiques en Java, Scala ou Python, ainsi que sur Apache Hadoop
22/06/2022 à Aix-en-Provence
22/06/2022 à Distance
22/06/2022 à Lyon

Programme de formation Spark.

PDF

Présentation de Apache Spark

Spark et le Big Data
Fonctionnement de Apache Spark
Spark et Hadoop: deux solutions différentes et complémentaires
Spark Shell
Environnement de travail
Outils

RDD (Resilient Distributed Datasets)

Fonctionnement
Cas d’usages
Gestion des opérations de RDD
MapReduce pour le RDD
Spark SQL

Combiner Spark à HDFS (Hadoop Distributed File System)

Intérêts
Cas d’usages
Intégration à Spark de HDFS
Utilisation de HDFS

Spark en cluster

Création d’une structure en clusters
Héberger la structure
Déployer la structure
Interface Web de Spark

Programmation parallèle, Partitionnement

Localiser les données du HDFS
Partitionnement de RDD
Programmation d’opérations parallèles
Exécution
Mise en cache du partitionnement
Gestion de la persistance des données

Conception d’une application à l’aide de Spark

Présentation de Spark
Configuration
Prototyper des opérations avec Spark Shell
Compiler
Générer l’application

Spark Streaming pour le traitement des données en temps réel

Fonctionnement
Principes de base
DStream
Intégrer, transformer des DStreams
Opérations de sortie
Gérer les performances

Implémenter des algorithmes, Machine Learning

Résoudre les problèmes à l’aide d’algorithmes itératifs
Machine Learning Library MLlib
Opérations sur les données graphiques

Optimiser Spark

Gérer les variables partagées
Données broadcastées
Accumulateurs
Optimiser les performances: méthodes et outils

Notre charte qualité et éthique.

A travers sa Charte Engagement Qualité, Sparks s’engage à tout mettre en œuvre pour que chaque session de formation soit un succès et que votre satisfaction soit totale.

À propos de Spark.

Initialement développé à UC Berkeley en 2009, Spark est un framework open source désormais géré par Apache. Ce framework écrit en Scala accepte également des tâches écrites en Java et en Python. Le but du framework est le traitement des grandes quantités de données associées au Big Data.
Dans la lignée de Hadoop mais différent, Apache Spark permet un traitement jusqu’à 100 fois plus rapide qu’Hadoop pour les larges quantité de données. En 2014, Spark avait notamment battu le record détenu par Hadoop en traitant 100 TB de données en 23 mins à l’aide de 206 machines contre 72 minutes à l’aide de 2100 machines pour Hadoop. La formation Apache Spark par Sparks a donc pour but principal le traitement de données. Elle s’installe donc notamment dans une démarche du Big Data, afin de pouvoir traiter la quantité colossale de données qui peuvent être générées dans les entreprises.

Spark étant un framework open source, il permet d’être incorporé gratuitement dans du code pour le développement d’applications de traitement de données très performantes. Cette formation vous permettra en premier lieu de comprendre et maîtriser le framework Spark, puis de développer des applications en utilisant ce dernier. Cette formation par Sparks de 3 jours est disponible en présentiel ou à distance !

Amandine de Sparks
Des chiffres étincelants.
17 années
à vos côtés
+ de 1000
sujets de formation
6883
stagiaires formés en 2021
249
formateurs actifs en 2021
96%
de clients satisfaits
18581
heures de formation réalisées en 2021
HAUT