Een ogenblik, aub...Deze tekst werd automatisch vertaald door een online vertaler (DeepL) om als leidraad te dienen, om de inhoud van de informatie over de opleiding te helpen begrijpen. Wij wijzen alle verantwoordelijkheid voor de inhoud ervan af. Indien u wenst te reageren op deze vertaling, kunt u een e-mail sturen naar helpdesk@digitalcity.brussels.
Microsoft Fabric : Data Engineering Avancé & DevOps (Bloc 2)
Georganiseerd door:
Opleidingspartners:
Beschrijving
Deze cursus gaat dieper in op Data Engineering ontwikkeling in Fabric, waarbij complexe ETL, geavanceerde transformaties, het gebruik van Spark Notebooks en performance optimalisatie aan bod komen. Het introduceert ook DevOps best practices: Git, versiebeheer, deployment pipelines en governance. Het doel is om deelnemers in staat te stellen complete dataprojecten in pro-code modus uit te voeren en end-to-end workflows te industrialiseren.
Wat zijn de doelstellingen van de opleiding?
- Geavanceerde ingestie- en transformatietechnieken implementeren: CDC, Upsert, Merge, SCD Type 2.
- Spark en Notebooks gebruiken voor complexe ETL workflows.
- Creëren en optimaliseren van semantische modellen in Fabric.
- Prestaties optimaliseren (partitionering, Delta, cache).
- Git versiebeheer implementeren en Deployment Pipelines gebruiken.
- DevOps-praktijken en governance integreren in dataprojecten.
Wat moet je weten om de cursus te volgen?
- Afronding van blok 1 of bekendheid met Fabric, OneLake, Dataflows Gen2 en Data Factory.
- Kennis van SQL, datawarehousing en Python (essentieel voor het Spark-gedeelte).
Opleidingsprogramma
Geavanceerde opname- en transformatietechnieken
- Complete CDC: logica, pijplijnen, use cases.
- Upsert, samenvoegen, duplicaatbeheer.
- Implementatie van een compleet Type 2 SCD.
- Bouw van geavanceerde Silver/Gold zones.
- Creëren van semantische modellen in Fabric.
Pro-Code met Spark
- Introductie tot Fabric Notebooks en de Spark omgeving.
- Lezen/schrijven in OneLake via Parquet en Delta Lake.
- Spark verwerking optimaliseren (cache, partities).
- Ontwikkelen van complexe ETL's: joins, prestatiegerichte pipelines.
Prestaties & optimalisatie
- Keuze van formaten en organisatie van het Lake.
- Indexeren, partitioneren, clusteren.
- Spark en Data Factory prestatiemonitoring.
- Strategieën om kosten te verlagen en uitvoeringstijd te optimaliseren.
DevOps & beheer
- Git integratie: versiebeheer, branches, samenwerking.
- Deployment Pipelines: bevorderen van Dev → Test → Prod.
- Fabric governance: toegang, beveiliging, RBAC, DataLineage.
- Goede praktijken in industrialisatie en gebruik.
Praktische oefeningen
- Implementatie van een geavanceerde pijplijn die CDC + SCD Type 2 integreert.
- Ontwikkelen van een volledige Spark ETL.
- Creëren van een Fabric semantisch model met optimalisatie.
- Git integratie: push, branches, versiebeheer.
- Implementatie van een Deployment Pipeline en een Dev → Test → Prod flow.