Inleiding tot Big Data

Wat is BigData?
Bron van gegevens: mens, machine
Het probleem van de omvang
De positie van Hadoop in het landschap

Inleiding tot Hadoop

De oorsprong van het project
Het HDFS-bestandssysteem
Inzicht in het MapReduce-algoritme
De Hadoop-omgeving: HBase, ZooKeeper, Hive, Pig...
De YARN-API

Hadoop op zijn plaats zetten: HDFS

Van standalone naar volledig gedistribueerde modus encluster
Vereisten, Hadoop-distributies
Hadoop-cluster : NameNode, ResourceManager, DataNode, NodeManager
De deconfiguratiebestanden
Basisbewerkingen op het HDFS-cluster : formatteren, starten, stoppen

Praktische workshop: Hadoop installeren op 2 nodes, HDFS formatteren en manipuleren

Werken met MapReduce

Het belang van MapReduce
Mappers, reducers, parallellisme en onafhankelijkheid van verwerking
Inputs, outputs
Een opdracht bij Hadoop indienen

Praktische workshop: een job uitvoeren via MapReduce, met uitvoer in HDFS

Een gedistribueerde database: HBase

Willekeurige toegang, real time, lezen en schrijven tot BigData
HBase-kenmerken, NoSQL
Vereisten, configuratie
Afhandeling via de HBase-shell

Praktische workshop: opzetten van HBase op Hadoop, maken en manipuleren van een tabel

Wat dacht je van wat SQL met Hive?

Presentatie van Hive
Schemabeheer: databases, tabellen, views, partities
Gegevensmanipulatie, query's en map-reduce met HiveQL
Audits en foutenregistratie

Praktische workshop: massieve gegevens in Hive laden, query's

Analyseren van gegevens met Pig

Overzicht, installatie van het Apache Pig project
Pig lokaal draaien, in map-reduce modus
Scripter voor Pig
De Pig Latin taal
Gegevensmanipulatie en -opslag met Pig

Praktische workshop: schrijf een script met PigLatin voor een eenvoudige taak, en voer het lokaal uit, daarna in map-reduce modus.

Verder gaan met Hadoop

Logs en auditing van Hadoop-taken beheren
MRUnit ontdekken voor unit testing in Hadoop
Lokaal debuggen
Prestatiemonitoring

Praktische workshop: het opzetten van een meer complexe MapReduce job met traces en unit tests