Automation bias (automatiseringsbias)

Wat is automation bias?

Automation bias is wat er gebeurt als iemand stopt met nakijken en begint met ja knikken. Een systeem geeft een antwoord, een aanbeveling of een ontwerp, en de persoon neemt het over, ook al zegt zijn eigen oordeel of iets op het scherm dat het niet klopt. Het systeem heeft niets afgedwongen. De persoon heeft de beslissing uit handen gegeven omdat het systeem meestal juist zat.

Het komt in twee vormen. Een commission error, een fout door te handelen, is handelen op een foute aanbeveling: het systeem zegt goedkeuren, dus je keurt goed. Een omission error, een fout door na te laten, is iets missen omdat het systeem gezwegen heeft: er kwam geen melding, dus je ging ervan uit dat er niets te zien was. Die tweede is lastiger te vangen, want er is niets gebeurd waarop je had kunnen reageren.

De term komt uit het human-factors-onderzoek naar cockpits en controlekamers in de jaren negentig en dook op in de geneeskunde toen beslissingsondersteunende systemen diagnoses begonnen voor te stellen. Sinds 2023 is het een concreet probleem voor elk bedrijf dat een taalmodel voor zijn mensen zet, want dezelfde reflex speelt bij een opgestelde mail, een voorgestelde boeking of een voorgesteld antwoord aan een klant.

Wie 400 creditnota's heeft goedgekeurd zonder één probleem te vinden, leest de 401ste niet echt meer. Dat is automation bias, en het is geen karakterfout. Het is hoe een normaal mens zich gedraagt naast een systeem dat bijna altijd gelijk heeft.

Hoe ontstaat automation bias?

Vier dingen duwen iemand van nakijken naar ja knikken, en ze komen meestal samen.

Nakijken is werk, ja knikken is gratis. De onderzoekers die het effect als eersten benoemden, beschreven het als de automatische hint gebruiken als kortere weg, in plaats van zelf actief informatie te zoeken en af te wegen. Een brein dat een stap kan overslaan, slaat die over, en een aanbeveling die er al uitziet als een antwoord is precies zo'n stap.

Vertrouwen groeit op de laatste honderd resultaten. Elke juiste output maakt het makkelijker om de volgende te aanvaarden zonder te kijken. Dat is redelijk gedrag, tot op het moment dat het systeem fout zit, en tegen dan is de gewoonte van niet kijken ingesleten. Hoe beter een systeem presteert, hoe minder zijn gebruikers voorbereid zijn op zijn fouten.

Tijdsdruk en een tweede taak. Een overzicht van het onderzoek in het vakblad Human Factors uit 2010 stelde vast dat laksheid tegenover automatisering vooral opduikt als de operator andere taken heeft die om aandacht vragen. Wie een wachtrij van zestig dossiers heeft en om elf uur een vergadering, zit precies in die situatie.

Overrulen kost meer dan meegaan. Als een foute override besproken wordt en een foute goedkeuring niet, dan leren mensen goedkeuren. In de cockpitstudies van eind jaren negentig keken piloten die zich persoonlijk verantwoordelijk voelden voor hoe ze met de automatisering omgingen vaker dubbel na en maakten ze minder fouten. Dezelfde studies zagen dat piloten zich achteraf bevestigende signalen herinnerden die nooit op het scherm hadden gestaan.

Twee bevindingen uit dat oudere onderzoek zijn belangrijk voor wie hoopt het probleem weg te trainen. Het overzicht uit 2010 besloot dat zowel laksheid als automation bias beginners en experts even hard treft en blijft bestaan ondanks training. Een studie bij vliegtuigbemanningen vond dat training gericht op automation bias het aantal commission errors deed dalen, maar niets veranderde aan de omission errors. Mensen leren in vraag stellen wat het systeem zegt. Ze leren niet opmerken wat het niet gezegd heeft.

Waarom taalmodellen het erger maken

Klassieke beslissingshulpen gaven een score, een vlag of een categorie. Een taalmodel geeft je een alinea, geschreven zoals een bekwame collega zou schrijven, aan jou gericht, in jouw context. Drie eigenschappen van die output maken de bias sterker.

De toon is dezelfde voor juiste en foute antwoorden. Een model dat net een referentie heeft verzonnen, schrijft die in exact dezelfde stem als een correcte. Geen aarzeling, geen slag om de arm, niets aan de oppervlakte om op te reageren. De term hallucinatie beschrijft wat er binnen in het model misloopt. Hier gaat het om wat het met de lezer doet: de gewone signalen waaraan je merkt dat een collega twijfelt, ontbreken.

Het antwoord is op maat. Het gebruikt de naam van je klant, je productcodes en de cijfers die je zelf gaf. Een algemene waarschuwing negeer je makkelijk. Een ontwerp dat al leest als iets wat je zelf geschreven zou hebben, verstuur je heel makkelijk.

Het model geeft je gelijk. Sycophancy, de neiging van een model om het standpunt te volgen dat jij liet doorschemeren, maakt dat de output vaak bevestigt wat je al dacht. Bevestiging van een vlotte, zelfzekere bron is de vorm van automation bias die je van binnenuit het minst opmerkt.

Het Amerikaanse standaardeninstituut NIST zette dit in 2024 in zijn profiel voor generatieve AI: mensen gaan na verloop van tijd te veel vertrouwen op generatieve AI of beschouwen de inhoud ervan als kwalitatief beter dan die uit andere bronnen. NIST noemt dat een voorbeeld van automation bias, en voegt eraan toe dat die overmatige afhankelijkheid de andere risico's verergert, verzonnen inhoud inbegrepen. Het International AI Safety Report van 2026, geschreven door een groep onderzoekers voor de overheden die het steunen, merkte op dat het bewijs voor automation bias bij taken met generatieve AI sinds de vorige editie is aangegroeid.

Wat recente studies vonden

Het patroon is overal hetzelfde, en drie studies tonen het met cijfers.

Radiologen, 2023. Een team van het universitair ziekenhuis van Keulen liet 27 radiologen 50 mammografieën lezen met een AI-hulp die een categorie voorstelde. Als het voorstel juist was, haalden de lezers op elk ervaringsniveau rond de 80 procent. Als het voorstel fout was, zakten de minst ervaren lezers naar zowat 20 procent juist en de meest ervaren naar zowat 45 procent. Ervaring verzachtte het effect. Ze nam het niet weg.

Artsen met AI-opleiding, 2025. Een gerandomiseerde studie uit 2025, gepubliceerd in NEJM AI, volgde 44 artsen die allemaal een AI-opleiding van 20 uur hadden afgerond. De helft kreeg een taalmodel met juiste suggesties, de andere helft een model dat in drie van de zes casussen bewust fout zat. De groep met de foute assistent scoorde zowat 73 procent op diagnostisch redeneren tegenover zowat 85 procent voor de andere groep, na correctie een verschil van een 14-tal punten. Het model raadplegen was vrijwillig. De opleiding heeft hen niet beschermd.

2.784 mensen op een datataak, 2026. Een studie in de Harvard Data Science Review gaf deelnemers een taak waarbij ze data moesten overnemen uit tabellen, met AI-suggesties van wisselende kwaliteit. Als een gemarkeerde suggestie corrigeren extra moeite kostte, aanvaardden mensen meer foute suggesties. De sterkste voorspeller van hoe goed iemand het deed, was niet zijn achtergrond maar zijn houding tegenover AI: de sceptici vingen meer fouten.

Samen zeggen die drie iets ongemakkelijks voor wie een assistent uitrolt. Ervaring helpt een beetje, een opleiding helpt weinig, en een extra stap op het pad naar corrigeren maakt het erger.

Twee gevallen uit een gewone werkweek

De controleur van de creditnota's. Een agent maakt creditnota's klaar voor beschadigde leveringen en een medewerker keurt ze goed. De eerste maand opent die elk stuk, vergelijkt het met de leveringsbon en vindt niets fout. Tegen de derde maand is het nakijken een blik en een klik. In maand vijf crediteert de agent de volledige factuur voor een gedeeltelijke retour, omdat op de retourbon de verkeerde lijn stond, en de goedkeuring gaat er in vier seconden door. Niemand heeft een stap uit de procesbeschrijving overgeslagen. De stap betekende gewoon niets meer. De term human-on-the-loop werkt uit hoe je zo'n wachtrij opzet zodat het nakijken echt blijft.

De verkoper en de offerte. Een verkoper vraagt de assistent een offerte op te stellen voor een terugkerende klant. Het ontwerp is verzorgd, gebruikt de juiste productnamen en de prijzen van vorig jaar, en vermeldt dertig dagen betaaltermijn. Deze klant staat op voorafbetaling na twee laattijdige facturen, en dat wist de verkoper wel en de assistent niet. De offerte gaat ongelezen de deur uit omdat ze er af uitzag. Dat is een commission error, en de trigger was de kwaliteit van de tekst, niet een gebrek aan kennis.

Automation bias tegenover sycophancy

De twee worden makkelijk verward, want allebei eindigen ze met een mens en een machine die het eens zijn over een fout antwoord. Het verschil zit in wie er geplooid heeft.

Bij automation bias plooit de mens naar de machine. Het model zei iets, en jij nam het over boven je eigen oordeel of boven het bewijs op je scherm. De oplossing zit aan de menselijke kant: het nakijkproces, de prikkels, het ontwerp van het scherm.

Bij sycophancy plooit de machine naar de mens. Jij liet een voorkeur doorschemeren, en het model kneedde zijn antwoord tot het paste. De oplossing zit aan de kant van de vraagstelling en de training: haal jezelf uit de vraag, vraag naar het tegenargument.

Ze voeden elkaar. Jij zegt wat je denkt, het model beaamt dat in zelfzekere zinnen, en jij aanvaardt die instemming als een onafhankelijke bevestiging. Twee partijen die naar elkaar toe plooien, leveren een beslissing op die niemand echt genomen heeft. Het signaal is een vlot, aangenaam gesprek dat precies eindigt waar je begon, en de remedie is in beide termen dezelfde: stel de vraag opnieuw, zonder je voorkeur erin.

Wat helpt tegen automation bias, en wat niet

De maatregelen die werken, veranderen allemaal de taak of de prikkel. Geen enkele vraagt aan de controleur om beter zijn best te doen.

1. Toon het bewijs en de zekerheid naast het antwoord. Een ontwerp dat toont welke bronregels het gebruikte en waar het model twijfelde, geeft de controleur iets om na te kijken in plaats van iets om te aanvaarden. Met een kaal antwoord kan je alleen maar akkoord gaan.

2. Maak overrulen goedkoop en meegaan duur op de momenten die tellen. Een creditnota van 15.000 euro goedkeuren mag een klik meer kosten dan een van 40 euro, en weigeren mag nooit meer stappen vragen dan goedkeuren. De studie uit 2026 hierboven vond dat extra moeite op het pad naar corrigeren al volstaat om mensen meer fouten te laten doorlaten. Haal de moeite daar weg.

3. Stop bewust fouten in de wachtrij. Zet af en toe een bewust fout dossier tussen de rest en kijk of het gevangen wordt. Het is hetzelfde idee als de nepmail tegen phishing. Je weet zo of het nakijken echt is, en de controleurs onthouden dat foute dossiers bestaan.

4. Meet de override rate. Tel hoe vaak een controleur verandert of weigert wat het systeem voorstelde. Maandenlang bijna nul is geen bewijs van een perfect systeem. Volg ook de tijd per dossier op: een tijd die blijft krimpen, zegt hetzelfde.

5. Wissel de controleurs af. Een nieuwe controleur heeft het vertrouwen nog niet opgebouwd dat hem doet stoppen met kijken. Zet om de paar weken iemand anders op de wachtrij en laat de nieuwe beginnen met alles volledig te lezen.

6. Laat de mens een deel van de taak zelf doen. Wie alleen toekijkt, verliest de vaardigheid en de aandacht om in te grijpen. Laat de assistent het ontwerp schrijven en de mens de ene alinea die telt, of laat de agent boeken en de mens elk dossier boven een drempel met de hand afwerken. Doen houdt het oordeel warm. Toekijken niet.

Drie dingen werken niet, en het zijn de drie waar de meeste bedrijven eerst naar grijpen. Een disclaimer onder het antwoord, van het soort dat zegt dat het model fouten kan maken, wordt één keer gelezen en daarna nooit meer. Een opleidingsslide over automation bias levert op wat de studie bij vliegtuigbemanningen en de artsenstudie opleverden: mensen kennen het effect en vertonen het toch. En aan je mensen vragen om kritisch te blijven legt het probleem terug bij de persoon van wie de aandacht net het schaarse goed is, zonder hem iets extra te geven.

De Europese AI Act ziet het net zo. Artikel 14, lid 4, punt b vraagt dat wie toezicht houdt op een hoog-risicosysteem zich bewust kan blijven van de mogelijke neiging om automatisch op de output te vertrouwen of er te veel op te vertrouwen, wat de tekst automation bias noemt, en het artikel benoemt apart de systemen die mensen informatie of aanbevelingen geven om op te handelen. Dat bewustzijn is daar een ontwerpplicht voor de aanbieder, geen affiche in de refter. De term menselijk toezicht werkt uit wat dat artikel van jou als gebruiksverantwoordelijke vraagt. Voor elke assistent die geen hoog risico is, en dat zijn er in een Belgisch bedrijf bijna allemaal, zijn de zes maatregelen hierboven de praktische versie van dezelfde regel.