Introduction à Azure Data Factory et Fondamentaux 

• Introduction à Azure Data Factory 

○ Présentation d'Azure Data Factory et ses avantages dans le traitement des données. 

○ Comprendre l'architecture d'ADF et ses principaux composants. 

○ Configuration de l'environnement de développement pour Azure Data Factory. 

• Création de Flux de Données 

○ Utilisation de l'interface utilisateur et des outils en ligne de commande pour créer des flux de données. 

○ Comprendre les concepts de jeux de données, de datasets et de connexions aux sources et destinations de données. 

○ Création de flux de données pour extraire, transformer et charger (ETL) des données. 

• Création de Pipelines de Données 

○ Utilisation des flux de données pour créer des pipelines de données. 

○ Orchestration de workflows de données complexes avec les pipelines. 

○ Planification et déclenchement de l'exécution des pipelines. 

Activités et Transformations dans Azure Data Factory 

• Activités de Données 

○ Utilisation des différentes activités prédéfinies pour réaliser des tâches spécifiques (e.g., copier des données, 

exécuter des scripts, etc.). 

○ Utilisation des paramètres et des variables pour rendre les activités dynamiques. 

○ Gestion des dépendances entre les activités. 

• Transformations de Données 

○ Comprendre les transformations de données disponibles dans Azure Data Factory (e.g., jointures, agrégations, filtrage, etc.). 

○ Appliquer des transformations aux données pour les nettoyer et les préparer pour l'analyse. 

Surveillance, Gestion et Déploiement 

• Surveillance et Gestion des Pipelines 

○ Utilisation des outils de surveillance pour suivre l'exécution des pipelines. 

○ Comprendre les journaux d'exécution et la gestion des erreurs. 

○ Utilisation des mécanismes de reprise pour gérer les erreurs de pipeline. 

• Déploiement des Pipelines de Données 

○ Génération de fichiers de déploiement pour les pipelines de données. 

○ Déploiement des pipelines dans des environnements de développement, de test et de production. 

○ Stratégies de déploiement pour une mise à jour en douceur des pipelines. 

Exercices pratiques 

•  Création d'un flux de données pour extraire des données d'une source. 

•  Création d'un pipeline pour orchestrer le flux de données et charger les données dans une destination. 

•  Planification de l'exécution du pipeline à des heures spécifiques. 

•  Utilisation des activités de données pour copier et déplacer des fichiers. 

•  Création d'une transformation pour agréger des données provenant de différentes sources. 

•  Gestion des dépendances entre les activités pour orchestrer un workflow de données complexe. 

•  Surveillance de l'exécution des pipelines et analyse des journaux. 

•  Utilisation des mécanismes de reprise pour gérer les erreurs d'exécution. 

•  Déploiement d'un pipeline dans un environnement de test ou de production.