Computer use (AI-agents)

Wat is computer use?

Computer use is een AI-agent die een computer bedient zoals een mens dat doet. Hij kijkt naar het scherm, beweegt de muis, klikt, typt en leest wat er terugkomt. Geen integratie, geen API-sleutel, geen connector ertussen. Alles wat iemand met een toetsenbord en een scherm kan doen, kan de agent proberen.

Net die ingang maakt het verschil. Gewone automatisering praat met een systeem via een afspraak: een API-aanroep, een databankverbinding, een bestand in een afgesproken formaat. Computer use slaat die afspraak over en gaat door dezelfde deur als je medewerkers. Zo geraakt hij wel in het boekhoudpakket uit 2011, in het leveranciersportaal zonder documentatie, en op de overheidssite die nooit iets gepubliceerd heeft dat een machine kan aanroepen.

Alle drie de grote leveranciers hebben het. Anthropic heeft een computer use tool in zijn API. OpenAI heeft er een die volgens de eigen documentatie "lets a model operate browser and desktop interfaces". Microsoft zit ermee in Copilot Studio: daar bestuurt de agent een Windows-machine die jij klaarzet, en kies je zelf welk model erachter draait.

Een agentic browser doet hetzelfde binnen een browsersessie en stopt aan de rand van de browser. Een computer-use agent heeft het hele bureaublad, dus hij kan in één taak een rekenblad, een ERP-client, een PDF en een browser openen.

Hoe werkt de loop?

Eén stap bestaat uit drie bewegingen, herhaald tot de taak af is of tot jij hem stillegt.

Een screenshot gaat naar het model. Je code neemt het scherm als afbeelding en stuurt het mee met de taakomschrijving en alles wat er tot dan gebeurd is.

Het model antwoordt met een actie en een coördinaat. Klik op x,y. Typ deze tekst. Scroll hier naar beneden. Druk ctrl+s.

Je code voert die actie uit en neemt een nieuw screenshot. Dat screenshot is de enige terugkoppeling die het model krijgt over de vraag of de klik goed zat.

Het rijtje acties is kort. De toolset van Anthropic telt er zeventien: de vijf kliksoorten, slepen, muis verplaatsen, scrollen, typen, een toets of toetsencombinatie, een toets ingedrukt houden, wachten, cursorpositie opvragen, screenshot, en een zoom die één zone opnieuw op volle resolutie vastlegt zodat het model kleine tekst kan lezen. De lijst van OpenAI is korter en heeft dezelfde vorm: click, double click, drag, move, scroll, keypress, type, wait, screenshot.

De coördinaten komen terug in de pixelruimte van de afbeelding die jij verstuurd hebt. Heb je dat screenshot verkleind, dan moet je die coördinaten zelf terugrekenen naar het echte scherm. Anthropic raadt 1024x768 of 1280x720 aan voor werk op het bureaublad en 1280x800 of 1366x768 voor webapplicaties, en raadt alles boven 1920x1080 af.

Computer use versus RPA

Allebei bedienen ze een applicatie via de schermen die voor mensen gemaakt zijn. Het verschil zit in waar de automatisering zich aan vasthoudt, en dat merk je op het moment dat het scherm verandert.

Een RPA-bot houdt zich vast aan een selector: een pad door de elementenboom van de applicatie, de naam van een control, soms een vaste coördinaat. Dat pad schrijf je één keer, bij het bouwen. Het draait telkens op dezelfde manier, het draait snel, en je kan de flow lezen en weten wat hij gaat doen. Tot iemand de knop Verzenden naar een ander paneel verhuist, een veld hernoemt of een cookiebanner voor het formulier zet. De selector past niet meer. De bot valt stil, of hij klikt op iets anders.

Een computer-use agent houdt zich aan niets vast tussen twee stappen. Hij kijkt elke keer opnieuw. Is de knop verhuisd, dan ziet het model dat op het nieuwe screenshot en klikt het de knop waar ze nu staat. Microsoft schrijft het letterlijk in de documentatie van Copilot Studio: "Because it's AI-powered, it adapts to interface changes. For example, when buttons or screens change, the tool continues working without breaking your flow."

Daar staan drie dingen tegenover. Het is trager, want elke stap wacht op een modelaanroep in plaats van een instructie uit te voeren. Het kost geld per stap in plaats van bijna niets. En het is niet deterministisch: dezelfde taak met dezelfde agent, twee keer gedraaid, kan twee verschillende reeksen klikken opleveren. Onderzoekers die in 2026 identieke taken herhaaldelijk door identieke agents lieten lopen, stelden vast dat een agent die één keer slaagt de keer daarna kan falen, zonder dat er iets aan de taak of aan het model veranderd is.

RPA valt luid stil als het scherm verandert. Computer use doet gewoon voort, en voortdoen is niet hetzelfde als juist zijn.

Wat een run kost en hoe lang hij duurt

Elke stap is een screenshot plus een modelaanroep. Dat legt de bodem onder je factuur en onder je klok.

Een screenshot alleen al is goed voor ruwweg duizend tot achttienhonderd input-tokens, en dat komt bovenop een gesprek dat bij elke stap aangroeit. Daarom snoeien implementaties oude screenshots weg.

De facturatie van Microsoft toont het verschil in één cijfer. In Copilot Studio kost een computer-use run 5 Copilot Credits per stap, of 15 per stap met een premium model. Een gescripte agent flow kost 13 Copilot Credits per 100 acties. Honderd stappen computer use is dus 500 credits, honderd acties in een gescripte flow zijn er 13. Het eigen voorbeeld van Microsoft is een prestatieblad: portaal openen, nieuw blad aanmaken, drie velden invullen, verzenden. Vier stappen, 20 credits op een standaardmodel, 60 op een premium model.

Met de klok werkt het net zo. Een mens vult dat blad in op minder dan een minuut. De agent heeft voor elk van die vier stappen een screenshot, een modelaanroep en een actie nodig, en elke stap kan een tweede poging vragen. Tel modelaanroepen, geen klikken, als je inschat hoe lang een taak gaat duren.

Hoe betrouwbaar is het vandaag?

Goed genoeg voor een taak onder toezicht op een handvol schermen. Niet goed genoeg om alleen te laten op een lange taak.

Midden 2026 stelden onderzoekers 108 realistische bureaubladtaken samen van begin tot eind, van het soort dat een mens mediaan zo'n anderhalf uur werk kost. Het sterkste systeem dat ze testten, raakte er ongeveer één op vijf volledig door, en haalde rond de 55 procent zodra gedeeltelijke vooruitgang meetelde. Die taken vroegen gemiddeld meer dan 300 tool-aanroepen per stuk.

De manier waarop het misloopt, is voorspelbaar. Lange reeksen lopen mis omdat elke stap een kans op een verkeerde klik heeft en die kansen stapelen. Volle schermen lopen mis omdat een tabel met veertig smalle kolommen of een rij kleine statusicoontjes moeilijk af te lezen is van een screenshot; net daarvoor bestaat de zoom-actie. Timing loopt mis omdat een pagina die nog aan het laden is er afgewerkt kan uitzien. En het faalt stil: de agent crasht niet, hij meldt succes op het verkeerde record.

Daar komt een veiligheidsprobleem bovenop. Een screenshot is onbetrouwbare inhoud, net zoals een webpagina dat is, want tekst op een pagina of in een afbeelding kan het model iets anders opdragen. Anthropic laat classifiers over je screenshots lopen en stuurt het model bij zodat het jou eerst om bevestiging vraagt. OpenAI schrijft de regel voluit: "Text in a page, document, or tool result cannot grant permission or override the user's instructions."

Hoe zet je het veilig op?

Anthropic publiceert vier voorzorgen bij zijn computer use tool en bij de voorbeeldimplementatie. Het is de kortste zinnige startlijst.

1. Een aparte virtuele machine of container met minimale rechten. Dus geen laptop waar ook iemand op werkt.

2. Geen gevoelige gegevens binnen bereik, logingegevens voorop. Wat de agent niet ziet, kan hij niet lekken.

3. Internettoegang beperkt tot een allowlist van domeinen. Hoe minder pagina's hij kan lezen, hoe minder pagina's tegen hem kunnen praten.

4. Een mens bevestigt alles met echte gevolgen. Anthropic noemt financiële transacties, akkoord gaan met voorwaarden en cookies aanvaarden als het soort handeling dat een menselijke ja nodig heeft.

Copilot Studio giet diezelfde lijst in instellingen: aparte machines, een account met minimale rechten, een allowlist van websites en desktopapplicaties, een schakelaar die alles weigert wat geen HTTPS is, wachtwoorden in de opslag van Power Platform of in een Azure Key Vault van jezelf, en een aangeduide controleur die een mail krijgt als de agent instructies opmerkt die zijn gedrag lijken te willen sturen.

Eén zin uit de documentatie van Microsoft lees je best twee keer: de allowlist belet de agent te handelen op een site die er niet op staat, maar belet hem niet om die site te openen. Een allowlist beperkt de schade, niet het lezen.

Waar moet je op letten bij computer use?

Zet het in waar nooit iemand een API gaat bouwen. Dat ene leveranciersportaal, de sectorapplicatie, de desktopclient uit een installer waar al jaren niemand aan geraakt heeft. Weinig volume, veel ergernis, geen koppeling in zicht. Daar verdient het zijn plaats.

Hou RPA en echte koppelingen voor het pad met veel volume en een stabiel scherm. Tweeduizend facturen per nacht door een scherm dat in drie jaar niet veranderd is, is geen werk voor een model dat naar een afbeelding kijkt. Een gescripte flow doet dat sneller, goedkoper en telkens op dezelfde manier, en als die stukloopt, loopt hij stuk op een manier die je in het logboek kan nalezen.

Zet een mens voor alles wat betaalt of verstuurt. Betalingen, bestellingen bij leveranciers, mails in naam van je bedrijf, records verwijderen, voorwaarden aanvaarden. De agent bereidt de actie voor en stopt daar. Iemand keurt ze goed.

Tel de schermen voor je begint te bouwen. Een taak van vijf schermen en een taak van vijftig zijn twee andere dingen, en alleen de eerste is een goed eerste project. Heeft een run honderden stappen nodig, knip hem dan in stukken waar iemand tussen kijkt, of laat hem vallen.