Pilot purgatory en proof of value

Wat is pilot purgatory?

Pilot purgatory is de toestand waarin een pilot blijft draaien zonder ooit in productie te gaan en zonder ooit stopgezet te worden. Niemand is ertegen, niemand is eigenaar van de beslissing, en elke maand verlengt iemand de licentie. De mensen die het moesten gebruiken zijn stilletjes teruggekeerd naar de oude manier, en op de slide staat het project nog altijd op groen.

De term komt uit de industrie. In 2018 gebruikte McKinsey hem, in een traject met het World Economic Forum over de trage adoptie van Industry 4.0, voor fabrikanten met veel pilotactiviteit en geen resultaat op de bottom line. Hun bevraging toen: 84 procent van de bedrijven zat al meer dan een jaar in pilotmodus, 28 procent al meer dan twee jaar. De laatste jaren is dezelfde term aan generatieve AI blijven kleven, omdat het patroon zich bijna letterlijk herhaalde.

Een proof of value, afgekort PoV, is het alternatief voor een proof of concept. Een proof of concept, of PoC, beantwoordt één vraag: kan dit technisch werken? Een proof of value beantwoordt een andere: levert het onder echte omstandigheden een meetbaar bedrijfsresultaat op, en is dat resultaat groot genoeg om de werking in productie te betalen? Het verschil zit niet in de technologie. Het zit erin dat een proof of value een cijfer heeft, een drempel, een einddatum en een persoon met naam die beslist, en dat dat allemaal vastligt voor de eerste dag.

Vergelijk het met een bestelwagen. Een proefrit zegt je dat hij start. Een maand je leveringsronde ermee rijden terwijl je brandstof, laadtijd en gemiste leveringen bijhoudt, zegt je of je hem koopt.

Waarom pilots blijven hangen

Een pilot sterft zelden aan een technisch probleem. Hij sterft aan een beslissing die niemand neemt, en de redenen zijn van bedrijf tot bedrijf dezelfde.

Niemand is eigenaar van de go of no-go. De pilot is gestart door een enthousiasteling, gesponsord door een manager en gebouwd door een leverancier. Geen van de drie is de persoon die het productiebudget moet tekenen, dus de vraag wordt nooit gesteld.

Er is geen nulmeting gedaan voor de pilot. Als niemand het oude proces getimed heeft, kan niemand zeggen wat het nieuwe bespaart. De pilot eindigt met een gevoel in plaats van met een verschil.

Succes is gedefinieerd als "het werkt". Een PoC die de juiste velden uit een staal facturen haalt, heeft zijn werk gedaan. Een bedrijf draait niet op stalen. Zonder een drempel als "minder dan een minuut per factuur" kan je elk resultaat lezen als bemoedigend en geen enkel als beslissend.

De pilot draaide op propere data en het proces errond is nooit aangepast. De leverancier kreeg de nette PDF's. In productie komt de gescande fax van de leverancier uit Turnhout binnen, en de mail waar het bedrag alleen in het onderwerp staat. En de goedkeuringsstap, de uitzonderingenlijst en de overdracht naar de boekhouding gaan er nog altijd van uit dat een mens het werk gedaan heeft.

Aankoop, IT-security en legal beginnen pas na de pilot. Een pilot op een persoonlijk account met een export van een staal data draait binnen de week. Dezelfde tool door een leveranciersbeoordeling, een verwerkersovereenkomst en single sign-on krijgen duurt maanden, en tegen dan is de sponsor van job veranderd.

De leverancier heeft alle reden om de pilot in leven te houden. Een lopende pilot is een referentie en een lijn in de pipeline. Een afgesloten pilot met een nee is een verloren deal. Verwacht dus een voorstel voor een fase twee, een extra use case of een bredere scope telkens de beslissing dichterbij komt. Dat is geen kwade wil, het is hun businessmodel, en het is precies waarom de exitregel hieronder van jou moet zijn.

Hoe groot het probleem is

Het meest geciteerde cijfer komt uit The GenAI Divide, het rapport dat het NANDA-project van MIT in juli 2025 publiceerde. De auteurs bekeken meer dan 300 publieke AI-initiatieven, interviewden 52 organisaties en bevroegen 153 leidinggevenden. Hun conclusie: ongeveer 95 procent van de generatieve AI-pilots in bedrijven heeft geen meetbare impact op de resultatenrekening, en zowat 5 procent haalt het grootste deel van de waarde binnen. De trechter voor taakspecifieke tools beschrijft purgatory het best: 60 procent van de organisaties evalueerde zo'n systeem, 20 procent kreeg het tot een pilot, 5 procent kreeg het in productie. Het rapport merkt ook op dat middelgrote bedrijven, als ze slaagden, in ongeveer 90 dagen van pilot naar volledige uitrol gingen, waar grote ondernemingen negen maanden of langer nodig hadden. Klein zijn is hier een voordeel, als je het gebruikt.

Het tweede cijfer dat overal opduikt, komt van Gartner. In een persbericht van 25 juni 2025 voorspelde het dat meer dan 40 procent van de agentic AI-projecten tegen eind 2027 geannuleerd zal zijn, om drie redenen: oplopende kosten, onduidelijke bedrijfswaarde en onvoldoende risicobeheersing. Twee van die drie zijn precies wat een proof of value beslecht voor het project start.

Neem beide cijfers als richting, niet als exacte waarheid. De MIT-auteurs zeggen dat zelf, en de definitie van pilot en van succes verschilt per bevraging. Over de richting bestaat wel geen twijfel.

Proof of concept tegenover proof of value

De twee worden als synoniemen gebruikt, en daar loopt het bij veel pilots al mis. Je houdt ze het makkelijkst uit elkaar met de vraag die elk beantwoordt.

Proof of concept: kan het werken?

Een PoC test haalbaarheid. Kan het model onze factuurlay-outs lezen? Geraakt de agent via de API in ons ERP? Komt de nauwkeurigheid op een staal boven de 90 procent? Hij draait op een staal, vaak bij de leverancier, en succes wordt gemeten in nauwkeurigheid, snelheid of een demo die niet crasht. Een PoC is goedkoop en kort, en dat hoort zo: hij moet alleen uitsluiten dat het idee technisch onmogelijk is.

Proof of value: is het de moeite?

Een PoV test of het ding een bedrijfscijfer verandert. Hij draait op echte data, in jouw omgeving, met de mensen die het nadien gaan gebruiken, gedurende een vaste periode, tegen een nulmeting van vooraf. Het resultaat is een beslissing, en de criteria voor die beslissing stonden op papier voor de start. Een PoV kan mislukken op een technologie die perfect werkt, omdat het proces errond niet veranderd is, omdat de uitzonderingen de besparing opeten, of omdat de werking in productie meer kost dan ze opbrengt.

Doe een PoC als je echt niet weet of de technologie de job aankan. Doe een PoV als je dat al gelooft en de echte vraag is of je er geld en aandacht in steekt. De meeste AI-pilots in 2026 horen de tweede soort te zijn: dat een model een factuur kan lezen, staat vast. De open vraag is wat dat voor jou waard is.

Hoe zet je een proof of value op?

Een proof of value is eerst een kort document en pas daarna een project. Zet deze acht dingen op papier, laat de beslisser ze tekenen, en begin dan pas te bouwen.

1. Een nulmeting. Meet het huidige proces twee tot vier weken voor er iets verandert: minuten per stuk, foutpercentage, kost per stuk, achterstand. Wat je nu niet kan meten, kan je later ook niet als verschil bewijzen.

2. Eén cijfer. Kies het getal dat voor dit proces telt en hou je eraan. Minuten per factuur, dagen tot betaling, first-time-right. Andere cijfers mag je bijhouden, maar één beslist.

3. Een drempel. De waarde die het cijfer moet halen voor een ja. Schrijf ze als een getal, niet als een richting. Sneller is geen drempel; minder dan een minuut wel.

4. Een vaste einddatum. Zes tot twaalf weken volstaat voor de meeste backofficeprocessen. Op die dag valt de beslissing met de data die er zijn. De deadline verschuiven is op zich al een vorm van purgatory.

5. Een beslisser met naam. Eén persoon, met budgetbevoegdheid voor productie, die vooraf heeft toegezegd om op de einddatum ja, nee of nieuwe hypothese te zeggen.

6. Echte data en het echte proces. Live facturen, live mails, de echte uitzonderingenlijst, de echte goedkeuringsflow. Als een stap van het proces moet veranderen om de pilot te laten werken, verander ze tijdens de pilot, niet erna.

7. De mensen die het echt gaan gebruiken. De twee bedienden die vandaag de facturen behandelen, niet het projectteam. Of zij het gebruiken, maakt deel uit van het cijfer: een tool die niemand opent, bespaart niets.

8. De kost in productie, geschat voor de pilot. Licenties, modelgebruik, de uren die iemand aan uitzonderingen en onderhoud besteedt, de securitybeoordeling, het integratiewerk. Een PoV zet de gemeten winst naast die schatting. Zonder schatting is een ja een gok.

Niets hiervan is eigen aan AI. Het is dezelfde discipline als elke business case, maar toegepast voor het geld uitgegeven is in plaats van achteraf gereconstrueerd.

Een uitgewerkt voorbeeld: facturen matchen

Een distributiebedrijf met 1.200 leveranciersfacturen per maand wil een AI-tool om facturen te matchen met bestelbonnen en ontvangstbonnen. Vandaag doen twee mensen op de boekhouding dat.

Nulmeting. Drie weken timen geeft gemiddeld 4 minuten per factuur, inclusief de facturen waarvoor iemand de leverancier moet bellen. Dat is 80 uur per maand.

Cijfer en drempel. De gemiddelde behandeltijd per factuur, gemeten over alle facturen, moet onder 1 minuut komen, en minstens 95 procent van de facturen moet er zonder menselijke tussenkomst door. Allebei, want een snel gemiddelde met 70 procent straight-through betekent dat de tool alleen de makkelijke facturen aankan.

Einddatum en beslisser. Acht weken na go-live. De financieel manager beslist, en heeft de budgetlijn voor productie al laten voorbereiden zodat een ja dezelfde week uitgevoerd kan worden.

Echte omstandigheden. Alle inkomende facturen, ook de scans en de leverancier die PDF's mailt zonder bestelbonnummer. De goedkeuringsflow in het ERP wordt in week één aangepast zodat gematchte facturen de manuele wachtrij overslaan.

Geschatte kost in productie. 350 euro per maand aan licenties en modelgebruik, plus naar schatting 6 uur per maand voor uitzonderingen en onderhoud. Alles samen ongeveer 600 euro per maand.

Resultaat na acht weken. 96 procent van de facturen gaat er automatisch door in zowat 20 seconden. De overige 4 procent vraagt nog ongeveer 6 minuten van een mens. Gewogen over alle facturen is dat iets meer dan een halve minuut per factuur, ongeveer 11 uur per maand tegenover 80 in de nulmeting. Beide voorwaarden zijn gehaald. De besparing van zowat 69 uur per maand is beduidend meer waard dan 600 euro, dus het antwoord is ja, en de tool gaat in week negen live met dezelfde twee bedienden op de uitzonderingenlijst.

Was de straight-through rate op 85 procent uitgekomen, dan was de gemiddelde tijd ook gedaald, maar dan had de pilot zijn eigen drempel gemist. Dat is een gedocumenteerde nee, met een duidelijke reden en een cijfer, en geen pilot die blijft draaien omdat de demo er goed uitzag.

De exitregel

Elke pilot eindigt in een van drie toestanden, en op de einddatum benoemt de beslisser er een.

• Productie. De drempel is gehaald, de kost in productie klopt, het proces is aangepast. De pilot wordt de manier van werken, met een eigenaar, monitoring en een budgetlijn.

• Een gedocumenteerde nee. De drempel is niet gehaald, of wel gehaald maar tegen een kost die niet rendeert. Schrijf het cijfer, het resultaat en de reden op, zeg de licentie op en trek de toegang in. Een propere nee is een goed resultaat: hij kostte acht weken in plaats van twee jaar.

• Een nieuwe pilot met een nieuwe hypothese. Het resultaat bracht iets aan het licht dat het team niet wist, bijvoorbeeld dat de tool werkt voor Belgische facturen maar niet voor de buitenlandse die de meeste vertraging veroorzaken. Dat is een nieuwe proof of value met een eigen nulmeting, cijfer, drempel en einddatum. Het is geen verlenging van de oude.

Een vierde toestand bestaat niet. "Laat het nog wat draaien, we zien wel" is de deur naar purgatory, en de hele reden om de regel vooraf op papier te zetten, is dat niemand op de dag zelf de persoon moet zijn die stop zegt.

Twee dingen om op te letten. Het eerste is scope creep vermomd als vooruitgang: een tweede use case die op tafel komt voor de eerste beslist is. Beslis eerst over de eerste, en start de tweede als een eigen PoV. Het tweede is een nee behandelen als een mislukking van het team. Return on automation over een portfolio komt van de zwakke kandidaten vroeg stoppen, en een bedrijf dat propere, gedocumenteerde nees aflevert, is het bedrijf dat zich het volgende experiment kan permitteren.