Formation Data Streaming : traitement des données en temps réel.
96% de clients Sparks satisfaits (3317 notes)
Durée :
4 jours
Distanciel et 16 villes en France
numero vert : 0805 950 800 (service et appel gratuits)
à partir de
2190 €HT
Formation référencée Datadock

Référence :
SF33557
Durée :
4 jours

Disponible en distanciel et dans 17 villes
Ce stage comprend
 28 heures de formation
Support de cours numérique
Pauses et snacks à volonté
Prise en charge OPCO possible
Disponible à distance

Formation Data Streaming : traitement des données en temps réel.

4 jours de formation pour apprendre à traiter des flux continus de données !

A l'issue de cette formation, les participants ont acquis les compétences nécessaires pour traiter des données en temps réel grâce à la maîtrise d'outils modernes comme Spark, Kafka, Airflow... 50% du temps de formation est consacré aux cas pratiques, afin de permettre aux apprenants de mettre immédiatement en application les concepts théoriques du data streaming.

Objectifs pédagogiques.
Prérequis : Bonnes connaissances en python 3 (ou sur un autre langage de programmation orienté Back-end), un niveau intermédiaire en SQL.

Programme de formation Data Streaming : traitement des données en temps réel.

PDF

Introduction : principes fondamentaux du data streaming

Les avantages d’une architecture distribuée résiliente pour les systèmes de data streaming
Tolérance aux pannes, callbacks et scalabilité
Acheminement des messages entre les micro-services d’un système
Suivre l’activité, les logs et collecter des mesures
Gérer des flux de données avec Kafka Streams API ou Spark Streaming
Comment les géants de la Tech utilisent le streaming dans leurs activités quotidiennes (Netflix, LinkedIn, Uber…) ?

Architecture

Gérer les sources de données (évènements, messages, logs…)
La problématique de load balacing dynamique
Spark pour les pannes et la récupération
L’unification des analyses par lots (batchs), en streaming et interactives
Analytics avancée avec le Machine Learning et requêtes interactives en SQL

Cas pratiques : intégration de données en temps réel avec Databricks, Spark, Kafka ou Snowflake.

Gestion des pipelines de données Cloud avec Kafka, Airflow et Spark

Producers, consumers et concepts de réplication
Brokers, clusters, topics et partition
Le streaming de données comme moyen pour partager les données

Cas pratiques : gestion d’un data workflow avec les DAGs (Directed Acyclic Graphs) d’Airflow, gestion des brokers kafka avec Zookeeper.

Mise en œuvre d’un pipeline de données temps réel

Data streaming pour une architecture orientée évènements
Data streaming pour échantillons classiques de données
Data streaming pour les industries et l’Internet des Objets (IoT)

Projet final : construction d’un pipeline de données temps réel « from scratch » avec Kafka, Airflow, Spark, Snowflake ou Databricks (au choix des stagiaires, avec les données de leur organisation, si possible et planifié à l’avance).

Notre charte qualité et éthique.

A travers sa Charte Engagement Qualité, Sparks s’engage à tout mettre en œuvre pour que chaque session de formation soit un succès et que votre satisfaction soit totale.

Amandine de Sparks
Des chiffres étincelants.
17 années
à vos côtés
+ de 1000
sujets de formation
6883
stagiaires formés en 2021
249
formateurs actifs en 2021
96%
de clients satisfaits
18581
heures de formation réalisées en 2021
HAUT