Conformance checking

Wat is conformance checking?

Conformance checking vergelijkt hoe een proces in jouw organisatie echt gelopen is met hoe het zou moeten lopen volgens een afgesproken model. Je neemt de event log uit je ERP, CRM of ticketingsysteem, je legt daarnaast een referentiemodel (een BPMN-diagram, een interne procedure of een goedgekeurde SOP) en de tool toont stap voor stap waar de realiteit afwijkt.

Samen met discovery en enhancement vormt conformance checking een van de drie pijlers van process mining. Discovery tekent de kaart van wat er gebeurt. Conformance checking vergelijkt die kaart met de afgesproken route. Enhancement verrijkt het model met extra info zoals doorlooptijden of kosten.

Wanneer gebruik je conformance checking?

Conformance checking is nuttig wanneer er een duidelijke afspraak bestaat over hoe een proces moet lopen, en wanneer afwijkingen genoeg risico of kost opleveren om ze te willen zien:

• Audits: in plaats van een steekproef van honderd dossiers handmatig door te lopen, toon je in enkele minuten welke van de tienduizenden cases van het boekje afweken en waar precies.

• Vier-ogenprincipe bewaken: controleren of een aankoop of betaling echt door twee verschillende personen werd goedgekeurd, en niet via een workaround door één persoon afgerond.

• SLA-bewaking: opsporen welke klantenservicetickets de afgesproken reactietermijn overschreden en bij welke stap de vertraging ontstond.

Hoe werkt conformance checking?

Een conformance-checktool legt elke case naast het model en berekent twee getallen: fitness en precision.

Fitness meet hoe goed de realiteit op het model past. Een fitness van 1,0 betekent dat elke case perfect door het model loopt. Zit je rond de 0,85, dan zit er flink wat gedrag in de data dat het model niet voorziet: overgeslagen stappen, stappen in de verkeerde volgorde, of activiteiten die in het model niet bestaan.

Precision meet het omgekeerde: hoeveel gedrag laat het model toe dat in de praktijk nooit voorkomt? Een te vrijblijvend model scoort hoog op fitness (bijna alles past erin) maar laag op precision (het voorspelt niets). Een goed model heeft beide metrics hoog.

Onder de motorkap werken de meeste tools met token-based replay (voor het eerst beschreven door Rozinat en van der Aalst in 2008) of met alignments (later uitgewerkt door Adriansyah, van Dongen en van der Aalst). Replay speelt elke case af op een Petri-net van het model en registreert waar het vastloopt. Alignments zoeken de goedkoopste manier om data en model te matchen, wat zwaarder is om te rekenen maar een preciezere diagnose geeft. Tools zoals Celonis, Fluxicon Disco of Microsoft Process Advisor regelen dat voor jou.

Conformance checking versus process discovery

De twee technieken horen bij elkaar, maar ze beantwoorden een andere vraag.

Process discovery tekent het proces vanuit de data zonder vooraf een model te nemen. Blanco blad, de tool bouwt de proceskaart op basis van wat er effectief in de event log zit. Ideaal voor verkenning: je weet nog niet hoe het proces loopt, of je vermoedt dat het officiële model achterhaald is.

Conformance checking vertrekt net vanuit een bestaand model en zoekt de afwijkingen. Ideaal voor controle: je weet wel hoe het zou moeten en je wil zien waar het fout loopt.

Veel projecten starten met discovery, bouwen daar een geschoond model uit, en schakelen dan over op conformance checking om dat model permanent te bewaken.

Praktijkvoorbeeld: goedkeuringsflow voor aankoopfacturen

Een middelgroot productiebedrijf hanteert een aankooppolicy: elke factuur boven de 5.000 euro moet door twee verschillende personen goedgekeurd worden voor ze betaald wordt. Een voor de boekhoudkundige controle, een voor het managementakkoord. Het ERP heeft daar stappen voor voorzien.

De event log van een jaar bevat ongeveer 18.000 facturen boven die drempel. Een conformance check tegen het referentiemodel toont drie patronen:

• Het gros verloopt zoals voorzien. Fitness op die subset is 1,0.

• Bij een klein percentage is de management-goedkeuring gewoon overgeslagen, vaak bij facturen die net over de drempel zitten.

• In de hardnekkigste groep werden beide goedkeuringen door dezelfde medewerker uitgevoerd. Twee stappen op twee tijdstippen, dus het model lijkt gerespecteerd, maar in werkelijkheid werd de controle door één persoon afgerond. Over een jaar loopt dat snel op tot honderdduizenden euro aan niet-gecontroleerde uitgaven.

Zonder conformance checking komt zo'n patroon pas aan het licht bij een grondige audit of na een incident. Met een maandelijkse check zie je het binnen een halve dag en kan je gericht ingrijpen: ERP-rechten aanpassen of een alert inbouwen voor de risicogroep.