Data engineering met Databricks en Delta Lake

·

Veel IT-teams worstelen met datapipelines die langzaam worden, moeilijk te beheren zijn en slecht schalen. Hoe bouw je een robuuste dataomgeving zonder dat het een onderhoudsnachtmerrie wordt? In dit artikel lees je hoe je met Delta Lake, de medallion-architectuur en Unity Catalog een solide fundament legt.

Wat is Delta Lake en waarom gebruik je het?

Delta Lake is een open-source opslaglaag die bovenop cloudopslag draait, zoals Azure Data Lake Storage. Het voegt ACID-transacties toe aan je databestanden. Dat klinkt technisch, maar het betekent simpelweg dat je data betrouwbaar blijft, ook als een schrijfbewerking halverwege mislukt.

Zonder Delta Lake werk je vaak met losse Parquet-bestanden. Die zijn snel te lezen, maar bieden geen garantie op consistentie. Als twee processen tegelijk schrijven, kun je corrupte data krijgen. Delta Lake voorkomt dat met transactielogs die elke wijziging bijhouden.

Voor organisaties die werken met grote hoeveelheden transactiedata, zoals in accountancy of onderwijs, is dit bijzonder waardevol. Je kunt eerdere versies van een tabel terugzetten via time travel, fouten herstellen zonder dataverlies en audits uitvoeren op historische data.

De medallion-architectuur: bronze, silver en gold

De medallion-architectuur verdeelt je dataplatform in drie lagen. Elke laag heeft een eigen doel en kwaliteitsniveau. Dit maakt pipelines overzichtelijker en makkelijker te debuggen.

De bronze-laag bevat ruwe data, precies zoals die binnenkomt. Geen transformaties, geen opschoning. Denk aan een export uit een financieel systeem of een koppeling met een leerlingadministratie. Je slaat alles op, inclusief fouten en duplicaten. Dit is je vangnet: als iets misgaat downstream, kun je altijd terug naar de bron.

In de silver-laag maak je de data bruikbaar. Je verwijdert duplicaten, corrigeert datatypes en voegt basisvalidaties toe. Hier zorg je ervoor dat een geboortedatum ook echt een datum is, en dat lege velden worden afgevangen. De silver-laag is de werklaag voor data-engineers.

De gold-laag is bedoeld voor eindgebruikers en rapportages. Hier staan geaggregeerde tabellen, KPI-berekeningen en dimensiemodellen klaar voor gebruik in Power BI of andere rapportagetools. Door deze scheiding weet iedereen in je team precies waar welke data staat en wat de kwaliteit ervan is.

Pipelines bouwen met notebooks en workflows

In de praktijk bouw je je pipelines in notebooks of via Databricks Workflows. Notebooks zijn interactief en handig voor ontwikkeling en verkenning. Workflows zijn geschikt voor productie: je plant taken, koppelt afhankelijkheden en krijgt meldingen als iets mislukt.

Een typische pipeline laadt data uit een bronsysteem, schrijft die naar de bronze-laag en roept daarna een notebook aan die de silver-transformatie uitvoert. Vervolgens draait een derde stap de gold-aggregatie. Elke stap is apart testbaar en opnieuw uitvoerbaar.

Databricks ondersteunt ook Delta Live Tables, een declaratieve aanpak waarbij je beschrijft wat de uitkomst moet zijn in plaats van hoe je er komt. Het platform beheert dan zelf de uitvoervolgorde en foutafhandeling. Dat is handig als je pipelines complex worden en je minder wilt nadenken over orkestratie.

Binnen het Microsoft-ecosysteem werkt dit naadloos samen met Azure DevOps voor versiebeheer en CI/CD. Je kunt notebooks opslaan in een Git-repository, automatisch testen draaien bij een pull request en deployen naar een acceptatie- of productieomgeving zonder handmatige stappen.

Toegangsbeheer met Unity Catalog

Unity Catalog is het centrale toegangsbeheersysteem binnen het Databricks-platform. Het biedt één plek waar je bepaalt wie welke data mag zien en gebruiken. Dat is relevant als je werkt met gevoelige gegevens, zoals financiële dossiers of persoonsgegevens van studenten.

Zonder Unity Catalog beheer je rechten per workspace. Dat betekent dat je bij meerdere omgevingen steeds opnieuw rechten moet instellen, wat fouten in de hand werkt. Unity Catalog centraliseert dit: je definieert rechten op het niveau van catalogi, schema’s en tabellen, en die rechten gelden in alle workspaces die aan dezelfde metastore zijn gekoppeld.

Je kunt rechten toewijzen aan gebruikers, maar ook aan groepen. In de praktijk maak je groepen aan per team of afdeling, zoals “data-engineers”, “analisten” of “controllers”. Elke groep krijgt toegang tot de lagen die relevant zijn voor hun werk. Een controller hoeft geen toegang te hebben tot de bronze-laag; die werkt uitsluitend met gold-tabellen.

Unity Catalog biedt ook column-level security en row-level filters. Daarmee kun je bepalen dat een gebruiker wel een tabel mag zien, maar niet de kolom met salarisgegevens, of alleen de rijen die betrekking hebben op zijn eigen afdeling. Voor organisaties met strikte privacyvereisten is dit een belangrijk hulpmiddel.

Veelgemaakte fouten bij het inrichten van pipelines

  • Geen scheiding tussen lagen: Teams die alles in één laag stoppen, verliezen snel het overzicht. Ruwe data en geaggregeerde data door elkaar maakt foutopsporing lastig.
  • Geen schema-evolutie instellen: Delta Lake ondersteunt schema-evolutie, maar je moet dit expliciet activeren. Zonder die instelling mislukt een pipeline zodra een bronsysteem een nieuwe kolom toevoegt.
  • Te brede rechten in Unity Catalog: Beginners geven vaak iedereen toegang tot alles, om problemen te vermijden. Dat werkt averechts bij een audit of datalek.
  • Geen monitoring op pipelinefouten: Workflows zonder alerting zorgen ervoor dat een mislukte taak pas wordt ontdekt als een rapport leeg blijft.
  • Geen gebruik van liquid clustering of Z-ordering: Voor grote tabellen in de gold-laag loont het om queryoptimalisatie toe te passen. Zonder dat worden rapportages trager naarmate de data groeit.
  • Notebooks zonder parameters: Hardgecodeerde waarden in notebooks maken hergebruik moeilijk. Gebruik widgets of configuratiebestanden om notebooks flexibel te houden.

Veelgestelde vragen over data engineering met Databricks

Wat is het verschil tussen Delta Lake en een gewone databasetabel?

Een gewone databasetabel staat in een relationele database zoals SQL Server of PostgreSQL. Delta Lake slaat data op als bestanden in cloudopslag, maar voegt daar transactiebeheer aan toe. Je combineert de voordelen van goedkope, schaalbare cloudopslag met de betrouwbaarheid van een transactioneel systeem. Dat maakt het geschikt voor grote hoeveelheden data die je niet kwijt kunt in een traditionele database.

Hoe pas je Unity Catalog toe als je al bestaande workspaces hebt?

Je koppelt bestaande workspaces aan een Unity Catalog-metastore via de accountconsole van Databricks. Bestaande tabellen migreer je handmatig of met behulp van migratietools. Het is verstandig om dit gefaseerd te doen: begin met een nieuwe workspace of een afgebakend project, zodat je de werking kunt testen voordat je alles omzet. Bestaande Hive-metastore-tabellen blijven bereikbaar tijdens de migratie.

Is de medallion-architectuur ook geschikt voor kleine datasets?

Ja, maar de overhead is groter dan de winst als je dataset klein is. Voor een organisatie met een paar gigabyte aan data per jaar is een volledige drielaagse architectuur misschien overdreven. Toch is het zinvol om de structuur al vroeg neer te zetten, ook al gebruik je de gold-laag nog niet intensief. Zo voorkom je dat je later alles opnieuw moet inrichten als de data groeit.

Meer om te lezen