Formation Airflow.
Score de satisfaction : 4.56/5
Durée :
2 jours
27/01/2025 à Lyon
numero vert : 0805 950 800 (service et appel gratuits)
Airflow
à partir de
1500 €HT

Référence :
SF33733
Durée :
2 jours

Réservez vos places pour la session du
Vous souhaitez une session sur-mesure (intra) ?
Ce stage comprend
 14 heures de formation
Support de cours numérique
Pauses et snacks à volonté
Prise en charge OPCO possible
Disponible à distance

Formation Airflow.

Déployez automatiquement vos projets data grâce à notre formation Airflow !

La formation sur Airflow est conçue pour aider les participants à maîtriser les concepts clés et les fonctionnalités de ce puissant système de gestion de workflow. Les participants apprendront à utiliser Airflow pour créer, planifier et surveiller des workflows efficacement, en utilisant des techniques simples et intuitives. La formation couvre également les concepts fondamentaux de la gestion de workflow, tels que la dépendance entre les tâches et la gestion des erreurs, ce qui permettra aux participants de tirer le meilleur parti d'Airflow pour gérer leurs processus complexes. La formation est conçue pour offrir une expérience pratique, avec des activités et des démonstrations qui permettront aux participants de mettre en pratique les connaissances acquises au fil de la formation. En fin de compte, cette formation est un excellent moyen de se familiariser avec Airflow et de développer les compétences nécessaires pour utiliser efficacement ce système de gestion de workflow dans un environnement professionnel.

Objectifs pédagogiques.

1Connaître l'architecture et les composants Airflow

2S'approprier les principales fonctionnalités pour créer, planifier et surveiller des workflows

Prérequis : Connaissances en programmation, bases de données, systèmes de fichiers et ligne de commande (scripts shell).
Partagez cette formation

Programme de formation Airflow.

PDF

Introduction à la formation Airflow

Qu’est-ce que Airflow
Pourquoi utiliser Airflow
Applications courantes d’Airflow
Principaux avantages et inconvénients d’Airflow

Architecture d’Airflow et composants clés

Les composants clés d’Airflow : DAG, tâches, opérateurs, workflows, etc.
L’architecture d’Airflow : webserver, scheduler, executors, etc.
Explication des relations entre les différents composants
Exemples d’utilisation de chaque composant

Configuration et installation d’Airflow

Prérequis pour installer Airflow
Procédure d’installation d’Airflow
Configuration de l’environnement d’exécution d’Airflow
Démarrage et vérification du bon fonctionnement d’Airflow

Présentation de l’interface utilisateur d’Airflow

Navigation dans l’interface utilisateur d’Airflow
Affichage des DAGs et de leur statut
Vérification de l’historique de l’exécution des workflows
Gestion des erreurs et des tâches manquantes
Utilisation de la console de commande d’Airflow

Création de DAG et définition de ses tâches

Création d’un nouveau DAG
Définition des tâches et de leur ordre d’exécution
Utilisation des différents types d’opérateurs disponibles (BashOperator, PythonOperator, etc.)
Paramétrage des tâches (arguments, retours, etc.)
Enregistrement et activation du DAG

Utilisation des opérateurs courants

Les différents types d’opérateurs disponibles
Utilisation des opérateurs les plus couramment utilisés (BashOperator, PythonOperator, etc.)
Exemples concrets d’utilisation de ces opérateurs
Paramétrage des opérateurs pour les adapter à vos besoins

Gestion des dépendances entre tâches

Définition des dépendances entre les tâches
Utilisation des différents types de dépendances (upstream, downstream, etc.)
Résolution des dépendances et planification des tâches
Prise en compte des erreurs et des tâches manquantes dans les dépendances

Planification et exécution des workflows

Définition de la planification des workflows (heure de départ, fréquence, etc.)
Exécution manuelle ou automatique des workflows
Gestion des erreurs et des tâches manquantes
Suivi de l’exécution et modification des workflows en cours d’exécution

Gestion des variables d’environnement et des connexions

Utilisation des variables d’environnement pour paramétrer les tâches
Gestion des connexions aux bases de données et aux services externes
Création, modification et suppression des connexions
Sécurisation des informations sensibles (mots de passe, clés API, etc.)

Personnalisation des workflows avec les hooks et les macros

Utilisation des hooks pour personnaliser les tâches (pré/post-tâche)
Utilisation des macros pour réutiliser du code et des variables
Création, modification et suppression des hooks et des macros
Exemples concrets d’utilisation des hooks et des macros

Monitoring

Monitoring des workflows en temps réel
Configuration des alertes pour les erreurs et les tâches manquantes
Utilisation de l’interface utilisateur pour visualiser les alertes
Envoi d’alertes par email, SMS, notifications push, etc.

Conclusion et perspectives

Récapitulation des principaux points de la formation
Présentation des perspectives d’utilisation d’Airflow
Discussion sur les évolutions futures d’Airflow
Réponse aux questions et présentation de ressources supplémentaires

Notre charte qualité et éthique.

A travers sa Charte Engagement Qualité, Sparks s’engage à tout mettre en œuvre pour que chaque session de formation soit un succès et que votre satisfaction soit totale.

En apprendre davantage sur Airflow.

Airflow est un système open source de gestion de workflow qui aide les entreprises à automatiser, planifier et surveiller les processus de traitement de données complexes. Il offre une plateforme flexible et scalable pour définir, exécuter et surveiller les workflows de manière cohérente et fiable. Airflow gère les dépendances entre les tâches et permet la gestion des erreurs, ce qui en fait un choix populaire pour les équipes qui travaillent avec des processus complexes et des pipelines de données de longue durée. La plateforme est écrite en Python, ce qui la rend facile à utiliser pour les développeurs et les ingénieurs. En outre, Airflow prend en charge une grande variété de connecteurs pour différents systèmes et technologies, ce qui en fait un choix idéal pour les entreprises qui cherchent à centraliser et à automatiser leurs processus de traitement de données. En résumé, Airflow est une plateforme puissante et flexible pour la gestion de workflow qui peut aider les entreprises à améliorer l’efficacité et la fiabilité de leurs processus de traitement de données.

Amandine de Sparks
Des chiffres étincelants.
19 années
à vos côtés
+ de 1000
sujets de formation
8155
stagiaires formés en 2023
238
formateurs actifs en 2023
97,9%
de stagiaires satisfaits
24622
heures de formation réalisées en 2023
HAUT