Inleiding tot Azure Data Factory en grondbeginselen

• Inleiding tot Azure Data Factory

○ Inleiding tot Azure Data Factory en de voordelen ervan bij gegevensverwerking.

○ Inzicht in de architectuur van ADF en de belangrijkste componenten.

○ Configureren van de ontwikkelomgeving voor Azure Data Factory.

• Het creëren van data stromen

○ De gebruikersinterface en opdrachtregeltools gebruiken om dataflows te maken.

○ De concepten van datasets, datasets en verbindingen met databronnen en -bestemmingen begrijpen.

Datastromen creëren om data te extraheren, transformeren en laden (ETL).

• Datapijplijnen creëren

○ Datastromen gebruiken om datapijplijnen te creëren.

○ Complexe data workflows orkestreren met pijplijnen.

○ Plannen en triggeren van de uitvoering van pipelines.

Activiteiten en transformaties in Azure Data Factory

• Data activiteiten

○ Gebruik van verschillende voorgedefinieerde activiteiten om specifieke taken uit te voeren (bijv. gegevens kopiëren,

scripts uitvoeren, etc.).

○ Gebruik van parameters en variabelen om activiteiten dynamisch te maken.

○ Afhankelijkheden tussen activiteiten beheren.

• Gegevenstransformaties

○ Inzicht in de datatransformaties die beschikbaar zijn in Azure Data Factory (bijv. joins, aggregaties, filteren, etc.).

Transformaties toepassen op data om deze op te schonen en klaar te maken voor analyse.

Monitoring, beheer en implementatie

• Pipeline monitoring en beheer

○ Monitoring tools gebruiken om de uitvoering van pijplijnen te volgen.

○ Uitvoeringslogs en foutafhandeling begrijpen.

○ Herstelmechanismen gebruiken om pijplijnfouten te beheren.

• Het implementeren van gegevenspijplijnen

○ Genereren van deployment bestanden voor data pipelines.

○ Implementeren van pijplijnen in ontwikkel-, test- en productieomgevingen.

○ Implementatiestrategieën voor het soepel updaten van pijplijnen.

Praktische oefeningen

• Creëren van een dataflow om data uit een bron te halen.

• Een pijplijn maken om de gegevensstroom te orkestreren en de gegevens in een bestemming te laden.

• Het plannen van de pijplijn om op specifieke tijden te draaien.

• Gegevensactiviteiten gebruiken om bestanden te kopiëren en te verplaatsen.

• Een transformatie maken om gegevens uit verschillende bronnen samen te voegen.

• Afhankelijkheden tussen activiteiten beheren om een complexe gegevensworkflow te orkestreren.

• De uitvoering van de pijplijn monitoren en logs analyseren.

• Herstelmechanismen gebruiken om uitvoeringsfouten te beheren.

• Een pijplijn in een test- of productieomgeving implementeren.