Chargement...Microsoft Fabric : Data Engineering Avancé & DevOps (Bloc 2)
(Réf.2026-010)
4
Jour(s)
FR
Autres
Company
Employé
For a Fee
Day
Organised by :
Training partners :
Description
Cette formation approfondit le développement Data Engineering dans Fabric, en couvrant les ETL complexes, les transformations avancées, l’usage des Notebooks Spark et l’optimisation des performances. Elle introduit également les bonnes pratiques DevOps : Git, versioning, pipelines de déploiement et gouvernance. L’objectif est de permettre au participant de mener des projets data complets en mode pro-code et d’industrialiser les flux de bout en bout.
What are the aims of the training?
- Implémenter les techniques avancées d’ingestion et de transformation : CDC, Upsert, Merge, SCD Type 2.
- Exploiter Spark et les Notebooks pour les flux ETL complexes.
- Créer et optimiser des modèles sémantiques dans Fabric.
- Optimiser les performances (partitionnement, Delta, cache).
- Mettre en place le versioning Git et utiliser les Deployment Pipelines.
- Intégrer les pratiques DevOps et la gouvernance dans les projets data.
What do you need to know to follow the training?
- Avoir suivi le Bloc 1 ou maîtriser Fabric, OneLake, Dataflows Gen2 et Data Factory.
- Connaissances en SQL, datawarehousing et Python (indispensable pour la partie Spark).
Training programme
Techniques avancées d’ingestion et de transformation
- CDC complet : logique, pipelines, cas d’usage.
- Upsert, Merge, gestion des duplicats.
- Implémentation d’un SCD Type 2 complet.
- Construction des zones Silver/Gold avancées.
- Création des modèles sémantiques dans Fabric.
Pro-Code avec Spark
- Introduction aux Notebooks Fabric et à l’environnement Spark.
- Lecture/écriture dans OneLake via Parquet et Delta Lake.
- Optimisation des traitements Spark (cache, partitions).
- Développement d’ETL complexes : joins, pipelines orientés performance.
Performance & optimisation
- Choix des formats et organisation du Lake.
- Indexation, partitionnement, clustering.
- Monitoring des performances Spark et Data Factory.
- Stratégies de réduction des coûts et optimisation du temps d’exécution.
DevOps & Gouvernance
- Intégration Git : versioning, branches, collaboration.
- Deployment Pipelines : promotion Dev → Test → Prod.
- Gouvernance de Fabric : accès, sécurité, RBAC, DataLineage.
- Bonnes pratiques d’industrialisation et exploitation.
Exercices pratiques
- Mise en œuvre d’un pipeline avancé intégrant CDC + SCD Type 2.
- Développement d’un ETL Spark complet.
- Création d’un modèle sémantique Fabric avec optimisation.
- Intégration Git : push, branches, gestion des versions.
- Mise en place d’un Deployment Pipeline et d’un flux Dev → Test → Prod.