Chargement...Microsoft Fabric : Data Engineering Avancé & DevOps (Bloc 2)
(Réf.2026-010)
4
Jour(s)
FR
Autres
Entreprise
Employé
Payant
Jour entier
Organisé par :
Partenaires de la formation :
Description
Cette formation approfondit le développement Data Engineering dans Fabric, en couvrant les ETL complexes, les transformations avancées, l’usage des Notebooks Spark et l’optimisation des performances. Elle introduit également les bonnes pratiques DevOps : Git, versioning, pipelines de déploiement et gouvernance. L’objectif est de permettre au participant de mener des projets data complets en mode pro-code et d’industrialiser les flux de bout en bout.
Quels sont les buts de la formation ?
- Implémenter les techniques avancées d’ingestion et de transformation : CDC, Upsert, Merge, SCD Type 2.
- Exploiter Spark et les Notebooks pour les flux ETL complexes.
- Créer et optimiser des modèles sémantiques dans Fabric.
- Optimiser les performances (partitionnement, Delta, cache).
- Mettre en place le versioning Git et utiliser les Deployment Pipelines.
- Intégrer les pratiques DevOps et la gouvernance dans les projets data.
Que devez vous connaître pour suivre la formation ?
- Avoir suivi le Bloc 1 ou maîtriser Fabric, OneLake, Dataflows Gen2 et Data Factory.
- Connaissances en SQL, datawarehousing et Python (indispensable pour la partie Spark).
Programme de la formation
Techniques avancées d’ingestion et de transformation
- CDC complet : logique, pipelines, cas d’usage.
- Upsert, Merge, gestion des duplicats.
- Implémentation d’un SCD Type 2 complet.
- Construction des zones Silver/Gold avancées.
- Création des modèles sémantiques dans Fabric.
Pro-Code avec Spark
- Introduction aux Notebooks Fabric et à l’environnement Spark.
- Lecture/écriture dans OneLake via Parquet et Delta Lake.
- Optimisation des traitements Spark (cache, partitions).
- Développement d’ETL complexes : joins, pipelines orientés performance.
Performance & optimisation
- Choix des formats et organisation du Lake.
- Indexation, partitionnement, clustering.
- Monitoring des performances Spark et Data Factory.
- Stratégies de réduction des coûts et optimisation du temps d’exécution.
DevOps & Gouvernance
- Intégration Git : versioning, branches, collaboration.
- Deployment Pipelines : promotion Dev → Test → Prod.
- Gouvernance de Fabric : accès, sécurité, RBAC, DataLineage.
- Bonnes pratiques d’industrialisation et exploitation.
Exercices pratiques
- Mise en œuvre d’un pipeline avancé intégrant CDC + SCD Type 2.
- Développement d’un ETL Spark complet.
- Création d’un modèle sémantique Fabric avec optimisation.
- Intégration Git : push, branches, gestion des versions.
- Mise en place d’un Deployment Pipeline et d’un flux Dev → Test → Prod.