RL-omgevingen

Wat zijn RL-omgevingen?

Een RL-omgeving is een draaiende kopie van een taak waarin een AI-agent kan oefenen en waarin hij een score krijgt. Ze heeft een begintoestand, een lijstje tools die de agent mag gebruiken, en een programma dat achteraf beslist of de poging gelukt is. Laat ze duizend keer lopen en je hebt duizend beoordeelde pogingen zonder dat er iemand bij gezeten heeft.

Denk aan de simulator waar een transportfirma een nieuwe chauffeur in zet. De vrachtwagen is niet echt en de rotonde is niet echt, maar de manoeuvre lijkt genoeg op het echte werk dat wie goed wordt in de simulator ook beter rijdt op de baan, en de machine kan zeggen of de oplegger tegen de boordsteen ging.

De RL staat voor reinforcement learning. Het model probeert iets, krijgt een getal terug, en schuift op naar wat dat getal opleverde. De omgeving is de helft die het getal maakt. Post-training legt uit waar dat in de opbouw van een model past, dus dit artikel blijft bij het ding waartegen het model traint.

De vier onderdelen van een omgeving

De open frameworks maken de vorm expliciet. Gymnasium, de fork van de Gym-bibliotheek van OpenAI die de Farama Foundation onderhoudt, geeft elke omgeving twee methodes. reset() zet ze terug op een begintoestand en geeft de agent zijn eerste observatie, en ze neemt een seed aan zodat je dezelfde begintoestand opnieuw kan krijgen. step() voert een actie uit en geeft de volgende observatie terug, een beloning, en of de episode voorbij is. OpenEnv, de specificatie die het PyTorch-team van Meta en Hugging Face samen publiceren, houdt die oproepen aan en voegt toe wat agentwerk nodig heeft: de omgeving zit in een Docker-container en wordt over HTTP aangeboden, zodat een trainingsrun honderden identieke kopieën tegelijk kan opstarten.

De begintoestand. De data, bestanden en systemen waarmee de taak start. Voor kantoorwerk is dat een databasesnapshot, een mailbox met één bericht erin, een map met gescande documenten.

De tools. De acties die de agent mag doen, en niets daarbuiten. Dat lijstje is een ontwerpkeuze en geen technisch detail: een agent die rechtstreeks aan de database kan, leert nooit het inboekscherm gebruiken.

De beoordelaar. Het programma dat de eindtoestand naleest en er een score op plakt. Epoch AI, dat in januari 2026 mensen interviewde die hier hun brood mee verdienen, vatte het in één zin samen: een taak is een prompt die het model zegt wat het moet bereiken, plus een grader die bepaalt of dat gelukt is.

De reset. Alles wat de poging aangeraakt heeft, gaat exact terug zoals het was, duizenden keren per dag, zonder restjes. Dat klinkt als bijzaak, en het is net de reden waarom omgevingen in containers verpakt worden.

Waarom omgevingen het schaarse stuk werden

Modellen gingen het snelst vooruit op werk dat een programma kon nakijken. Wiskunde heeft een juist antwoord, code draait of ze draait niet, en daar was het trainingssignaal goedkoop en onbeperkt. Dus verschoof wat schaars is. Vroeger was dat tekst. Nu zijn het goed gebouwde taken die een machine kan quoteren.

Verschillende mensen hebben dat hardop gezegd, met een datum erbij. Mechanize, dat omgevingen en evals bouwt voor codeeragents, schreef in juni 2025 dat verder geraken trainingsomgevingen vraagt in een schaal en verscheidenheid die alles overtreffen wat er vandaag bestaat. Prime Intellect opende in augustus 2025 een publieke hub voor open omgevingen en zei het botter: omgevingen zijn het belangrijkste knelpunt voor de volgende golf AI-vooruitgang, en de grote labs houden ze op slot. In september 2025 ging TechCrunch de hele sector rond en citeerde Jennifer Li van Andreessen Horowitz, die zei dat elk groot lab intern omgevingen bouwt en dat die datasets maken erg complex is. Datzelfde stuk verwees naar berichtgeving van The Information dat Anthropic gesproken had over meer dan een miljard dollar per jaar hieraan uitgeven.

Niemand verkoopt dit aan een bedrijf van jouw grootte. De klanten zijn de labs, en uit de interviews van Epoch komt een prijs van tussen de tweehonderd en tweeduizend dollar per taak, met exclusieve afspraken vier tot vijf keer zo duur. Wat je gratis kan bekijken, is de open kant: Gymnasium, OpenEnv en de omgevingen die mensen op de hub van Prime Intellect zetten zijn allemaal open source.

Wat een bruikbare omgeving onderscheidt van een nutteloze

Een score die je niet kan uitbuiten. Een model dat tegen een programma optimaliseert, leert dat programma ja te doen zeggen, en de kortste weg daarheen is vaak niet de eerlijke. Epoch vatte samen waar bouwers eerst wakker van liggen: een hoge beloning moet betekenen dat de taak echt opgelost is en niet gehackt, en daar gaan veel iteraties over. Ross Taylor, ex-onderzoeksleider bij Meta AI, zei tegen TechCrunch dat mensen onderschatten hoe moeilijk het is om omgevingen op te schalen, net daarom.

Een taak die dicht genoeg bij de echte ligt. Vaardigheid draagt alleen over als de simulatie zich gedraagt zoals het ding dat ze nabootst. Een van de mensen die Epoch sprak was daar hard over: er zijn goede redenen om websites te klonen, maar wat iedereen doet is een buggy website in elkaar flansen, en daar heb je niets aan. Een agent die goed wordt in het omzeilen van de bugs van jouw kloon, heeft jouw kloon geleerd.

Een reset die echt reset. Als poging 400 begint met restanten van poging 399, dan meet een stuk van je trainingssignaal die restanten.

Genoeg variatie, op de juiste moeilijkheid. Eén exemplaar leert het exemplaar aan, en het uitgewerkte voorbeeld hieronder laat zien hoe dat misloopt. Moeilijkheid werkt ook langs de andere kant: een taak die het model nooit oplost, leert niets aan, dus mikken bouwers op een ondergrens van een paar procent, minstens één succes op vierenzestig of honderdachtentwintig pogingen.

Een kleine omgeving gebouwd op één zakelijke taak

Neem het inboeken van een binnenkomende leveranciersfactuur tegen een bestelbon bij een groothandel. Dit komt erbij kijken om daar een omgeving van te maken.

Begintoestand. Een snapshot van de ERP-database met vierhonderd openstaande bestelbonnen en zestig leveranciers, plus één pdf-factuur in een inboxmap. Voor elke poging wordt hetzelfde snapshot teruggezet.

Tools. Vier functies en niets anders: search_purchase_order, read_document, create_booking en flag_for_review. Geen shell, geen rechtstreekse SQL.

Score. Na de poging vergelijk je de database met het antwoord dat vastgelegd werd toen de taak geschreven werd. Eén boekingslijn, gekoppeld aan bestelbon 4471, op de juiste grootboekrekening, met de juiste btw-code en het bedrag van de pdf. Al de rest is nul. Zo beoordeelt tau-bench zijn agents ook, de open benchmark voor klantendienst die Sierra Research in 2024 publiceerde: die vergelijkt de toestand van de database aan het eind van het gesprek met een vooraf genoteerde doeltoestand.

Variatie. Achthonderd versies van dezelfde taak. Andere leveranciers en bedragen, sommige zonder passende bestelbon, sommige met een dubbel factuurnummer, sommige net buiten de tolerantie. In één reeks staat er 4182,30 euro op de factuur tegenover een bestelbon van 4100,00 euro, dus 2,01 procent te veel, en de regel laat twee procent toe. Het juiste antwoord daar is markeren, niet inboeken.

En dan komt het interessante stuk: de manieren waarop een agent hoog scoort zonder het werk te doen.

1. Hij vindt het antwoord in plaats van de factuur. De genoteerde doeltoestand is een bestand, en bestanden staan ergens. Als het bereikbaar is in de container, of als het bestelbonnummer in een logregel opduikt, dan leest een goede agent het gewoon.

2. Hij markeert alles. Geef deelpunten voor markeren en de winnende strategie is elke factuur markeren en er geen enkele inboeken. De score stijgt en er gebeurt geen werk.

3. Hij leert de generator, niet de taak. Als wie de achthonderd versies schreef altijd de recentste openstaande bestelbon van die leverancier nam, leert het model de recentste openstaande bestelbon kiezen. Volle punten in de omgeving, en het gaat de mist in bij de eerste factuur die te laat binnenkomt.

4. Hij schrijft de lijn zelf. Eén tool met een breder schrijfrecht dan bedoeld en de agent zet de doellijn er rechtstreeks in, zonder ook maar iets te matchen.

Niets daarvan is exotisch. Dat is wat je standaard krijgt, en die dingen opsporen is het grootste deel van het werk.

Een RL-omgeving tegenover een evaluatieset

Ze zijn op dezelfde manier gebouwd. De documentatie van Prime Intellect zegt het plat: RL-omgevingen en agent-evals zijn in wezen hetzelfde, een dataset plus een harness plus scoringsregels. Mechanize beschrijft zijn graders net zo, als iets dat scores oplevert die dienstdoen als signaal tijdens reinforcement learning en tijdens evaluatie. Wat verschilt, is wat er daarna met de score gebeurt.

Een evaluatieset is alleen-lezen voor het model. De agent doorloopt ze, de score wordt genoteerd, en er verandert niets aan het model. Haar hele waarde komt ervan dat het model er nooit op geoefend heeft. Laat ze twee keer per jaar lopen op elke versie die je overweegt en ze blijft je iets vertellen.

Een RL-omgeving is iets waar het model uit leert. Ze draait duizenden keren en de gewichten verschuiven op het resultaat. Haar waarde komt net van die herhaling, en van het feit dat het model er beter in wordt.

Het gevolg is het stuk dat mensen overslaan. Zodra een model op een omgeving getraind heeft, is zijn score daar geen meting meer. Een hoog getal zegt dat het model die omgeving geleerd heeft, en dat kan al dan niet betekenen dat het de taak geleerd heeft. Daarom houden labs sets achter de hand, en daarom zegt een benchmarkscore in een releasenota minder naarmate die benchmark bekender is.

Voor jou komt het neer op één kleine discipline. Hou twintig echte gevallen van jezelf bij, met de antwoorden die je verwacht, publiceer ze nooit, en geef ze nooit aan een leverancier mee als materiaal om op te fine-tunen. Zodra ze buiten je muren zijn, zijn ze geen test meer.

Waar moet je op letten bij RL-omgevingen?

Ze verklaren waarom een model goed is in algemeen kantoorwerk en zwak in dat van jou. Verbeteringen landen waar het trainingssignaal zat. Iemand bouwde omgevingen voor programmeren, voor browsen, voor klantendienst bij een luchtvaartmaatschappij. Niemand bouwde er een voor jouw doorrekenregels tussen vennootschappen, dus is er in de volgende release ook niets op gericht.

Een demo op een nagebouwde versie van jouw proces is een aanwijzing, geen bewijs. In de simulatie zit wat iemand opgeschreven heeft. Dat je boekhoudster goed is, komt vooral van het deel dat niemand opgeschreven heeft: dat deze leverancier altijd in twee keer levert, dat het maartbestand elk jaar fout is, dat als Kris zegt dat het goed is, hij bedoelt goed zodra de creditnota binnen is. Een agent die hoog scoort op de opgeschreven helft, heeft de opgeschreven helft laten zien.

Een score kan tegelijk juist en waardeloos zijn. Stel bij elk getal dat je te zien krijgt twee vragen: wat heeft de beoordelaar precies nagekeken, en over hoeveel variaties. Een getal uit één uitgeschreven run zegt je dat die run één keer gelukt is.

Dit is geen markt waar je instapt. Mechanize, Mercor, Surge en Scale AI verkopen aan labs, niet aan jou, en de open frameworks zijn er om te lezen, niet om te installeren. Een gepubliceerde omgeving doornemen is toch een namiddag waard, want zien hoe iemand een beoordelaar schreef voor werk zoals het jouwe, verandert hoe je je eigen aanvaardingscriteria opstelt.