DataOps

Wat is DataOps?

DataOps brengt de werkwijzen uit software-ontwikkeling naar de datawereld, zodat een team betrouwbare data sneller en met minder brokken bij de gebruiker krijgt. Het neemt de gewoontes van DevOps en agile (versiebeheer, geautomatiseerd testen, kleine stappen, nauwe samenwerking) en past ze toe op de hele weg die data aflegt: van bron, over transformatie, tot het rapport of het model dat erop draait.

DataOps is geen product dat je koopt. Het is een manier van werken, een set afspraken die een team overneemt. Je kan tools inzetten die het ondersteunen (git, dbt, een orchestrator), maar de kern zit in hoe mensen samenwerken en hoe een wijziging door het systeem loopt.

Analistenbureau Gartner omschrijft DataOps als een samenwerkingsgerichte manier van databeheer die de communicatie en automatisering tussen de mensen die data maken en de mensen die ze gebruiken verbetert, met als doel sneller waarde te leveren via voorspelbare uitrol. Kort gezegd: DataOps is aan een datapijplijn wat DevOps is aan software.

De praktijken die een team overneemt

Versiebeheer voor pijplijnen en transformaties
Alle SQL, dbt-modellen en pijplijn-definities staan in git, net als applicatiecode. Elke wijziging is een commit met een auteur, een datum en een reden. Je kan terug naar elke vorige versie en je ziet wie wat wanneer veranderde. Het DataOps Manifesto vat dat samen als "analytics is code": ook je transformaties en configuratie zijn code, dus behandel ze zo.

Geautomatiseerd data testen
Bij elke wijziging draaien tests mee op de data zelf: een sleutel is uniek, een bedrag is positief, een verplicht veld is niet leeg, het rij-aantal blijft binnen verwachting. Dat is data testing, en het is de goedkoopste manier om een fout te vangen voor die in een rapport landt. Het bewaakt tegelijk je datakwaliteit.

Omgevingen dev, test en productie
Je bouwt en test wijzigingen op een aparte omgeving, los van de data waar de business op steunt. dbt maakt daarvoor bijvoorbeeld een tijdelijk apart schema aan per voorgestelde wijziging, zodat die getest wordt zonder de productiecijfers aan te raken.

CI/CD op elke wijziging
Bij elke pull request draaien de tests automatisch. Slaagt alles en keurt een collega de wijziging goed, dan gaat ze naar productie. Faalt er iets, dan blokkeert de merge en komt de fout niet verder.

Alerting op falen en op freshness
Een gefaalde run stuurt meteen een melding naar iemand die er iets mee doet. Ook stilstand telt: een tabel die al achttien uur niet ververst is terwijl ze elk uur zou moeten bijwerken, is een incident. Dit stuk overlapt met data observability.

Samenwerking tussen wie data maakt en wie ze gebruikt
Een data contract legt vast wat een bron belooft te leveren: welke velden, welk formaat, hoe vaak. Zo breekt een wijziging bovenaan de keten niet stilletjes iets onderaan.

Een wijziging aan een transformatie, met en zonder DataOps

Stel: een analist past de marge-berekening aan die het managementrapport voedt.

Zonder DataOps past hij de query rechtstreeks aan op de live-omgeving. De verandering klopt in zijn hoofd, maar niemand reviewt ze en er draait geen test. De volgende ochtend staat er een verkeerd cijfer in het rapport, en terugdraaien betekent uitzoeken wat er precies veranderd was.

Met DataOps maakt dezelfde analist een branch in git, past het dbt-model aan en opent een pull request. Automatisch draaien de tests op een apart testschema: is de marge nog altijd positief, klopt het rij-aantal, breekt er geen enkel downstream-model? Een collega leest de wijziging na. Pas als alles groen is, gaat ze naar productie. Loopt er dan toch iets mis, dan zie je in git welke commit het was en draai je die in één stap terug.

Datzelfde verhaal geldt voor de nachtelijke load. Faalt hij, of levert de bron plots een leeg bestand, dan vangt een test of een freshness-alert dat op voor iemand het in de cijfers ziet.

DataOps versus DevOps en MLOps

DevOps richt zich op de levenscyclus van applicatiecode: bouwen, testen, uitrollen en bewaken van software. DataOps neemt diezelfde discipline en past ze toe op data. Het verschil zit in wat er door de buis gaat: data van bron naar bestemming, plus de transformaties die er onderweg op gebeuren, in plaats van de code van een app.

Er is nog een verschil dat DataOps lastiger maakt. Bij software test je vooral het gedrag van code, en die verandert alleen als iemand ze aanpast. Bij data test je ook de data zelf, en die schuift elke dag op zonder dat jij iets deed. Een transformatie die gisteren klopte, kan vandaag stuklopen omdat de bron een kolom hernoemde of dubbele records aanleverde.

MLOps is hetzelfde idee, één laag verder: dezelfde gewoontes toegepast op machine learning-modellen, met extra stukken voor het trainen en bewaken van modellen die vanzelf verouderen. Waar DataOps stopt bij betrouwbare data, gaat MLOps door tot het model dat op die data draait.

En datakwaliteit? DataOps is de brede werkwijze, data observability en data testing zijn stukken ervan. Tests vangen de fouten die je vooraf kent, observability bewaakt of de data blijft kloppen. Beide horen thuis in een DataOps-aanpak.

Waar begin je als KMO?

Je hoeft geen platform met twintig tools op te zetten. Begin klein en breid uit als de pijn ontstaat.

1. Zet je transformaties in git. Ook als je vandaag alleen losse SQL of dbt-modellen hebt: één plek met historiek en review is de grootste sprong die je kan maken.

2. Splits dev en productie. Bouw en test wijzigingen los van de data waar de business op steunt.

3. Schrijf een handvol tests op de regels die je kent. Sleutel uniek, bedrag positief, geen lege verplichte velden. dbt maakt dat met een paar regels mogelijk.

4. Zet een alert op falen en op freshness. Een gefaalde nachtelijke run en een tabel die te lang stilstaat moeten meteen bij iemand terechtkomen die reageert.

5. Automatiseer de uitrol pas later. Volledige CI/CD naar productie loont zodra het manuele werk te veel wordt of te foutgevoelig.

Tools als dbt en Apache Airflow ondersteunen deze aanpak, maar de gewoontes komen eerst. Een klein team dat elke wijziging laat nakijken en testen, doet aan DataOps. Een groot team met dure software dat rechtstreeks op productie werkt, doet dat niet.