Model card

Wat is een model card?

Een model card is een kort document dat bij een machine learning-model hoort, zoals een technische fiche bij een elektronisch onderdeel hoort. Het zegt wat het model geacht wordt te doen, hoe goed het dat doet, op welke groepen mensen of gevallen dat gemeten is, en waar je het beter niet inzet.

Het idee komt uit een paper van een team bij Google uit 2018, met Margaret Mitchell als eerste auteur en Timnit Gebru als een van de mede-auteurs. Hun redenering was eenvoudig. Modellen werden gepubliceerd met één accuraatheidscijfer en verder niets, en dat vertelt je zowat niets over de vraag of dat model bij jouw situatie past. Hun voorstel was om evaluatieresultaten op te splitsen over verschillende groepen, samen met een duidelijke uitspraak over waarvoor het model bedoeld was.

Die opsplitsing is de kern. Een model dat 95 procent accuraat is in het totaal, kan 98 procent accuraat zijn op de ene groep en 70 procent op de andere. Eén gemiddelde verbergt precies de informatie die je nodig hebt om te beslissen of je het gebruikt.

Wat erin staat

Model cards verschillen van aanbieder tot aanbieder, en de secties uit het oorspronkelijke voorstel zijn nog altijd degene om naar te zoeken.

• Bedoeld gebruik. Waarvoor het model gebouwd is, en even belangrijk, waarvoor het niet gebouwd is. Die sectie vertelt je of jouw plan binnen of buiten valt van waarvoor het model ontworpen is.

• Factoren. De groepen, omstandigheden en condities die de prestaties beïnvloeden. Demografische groepen, maar evengoed dingen als beeldkwaliteit, taal of opnameomstandigheden.

• Metrieken. Welke maatstaven gebruikt zijn en waarom. Is een model op de verkeerde maatstaf voor jouw toepassing gemeten, dan zegt het cijfer je weinig.

• Evaluatiedata. Waarop het model getest is. Lijkt die data niet op de jouwe, dan gelden de gerapporteerde cijfers niet voor jou.

• Trainingsdata. Waaruit het geleerd heeft, in de mate dat de aanbieder dat wil of kan vrijgeven.

• Ethische overwegingen. Gekende risico's, gevoelige toepassingen, en de afwegingen waar de bouwers zich van bewust waren.

• Beperkingen en aanbevelingen. Waar de bouwers zelf zeggen dat je voorzichtig mee moet zijn.

In de juiste volgorde gelezen, beantwoorden die secties één vraag: is dit model geschikt voor wat ik ermee wil doen. Dat is een nuttigere vraag dan hoe goed het model is.

Model card, system card en de AI Act

Er zijn twee naburige termen die je best uit elkaar houdt.

Een model card beschrijft het model. Een system card beschrijft een heel systeem rond een model, inclusief de veiligheidslagen, de filters en de testen die op het samengestelde product gedaan zijn. Omdat modellen almaar vaker als onderdeel van een product geleverd worden in plaats van als kaal artefact, is de system card bij de grote aanbieders het gebruikelijkere formaat geworden.

Allebei hangen ze samen met de AI Act, al staat geen van de twee er met die naam in. De verordening verplicht aanbieders van AI-modellen voor algemene doeleinden om technische documentatie op te maken. Ze moeten ook informatie beschikbaar stellen aan bedrijven die op het model bouwen, zodat die de mogelijkheden en de beperkingen ervan begrijpen. Voor hoog-risico systemen is technische documentatie een formele verplichting met eigen eisen. Geen van die twee verplichtingen is automatisch vervuld met een model card. Het is de herkenbare, leesbare vorm die veel van die informatie aanneemt.

Hoe je er een gebruikt bij een aankoop

De meeste bedrijven gaan nooit een model card schrijven. Zowat allemaal zouden ze er wel moeten lezen, en er zijn vier vragen die de moeite zijn om mee te nemen naar een leveranciersgesprek.

Staat mijn toepassing bij het bedoelde gebruik? Wordt jouw plan er niet genoemd, dan is dat geen toestemming bij gebrek aan vermelding. Vraag het na.

Is het geëvalueerd op iets dat op mijn situatie lijkt? Iets dat geëvalueerd is op Engelstalige klantendienstgesprekken, zegt je weinig over Nederlandstalige technische support.

Wat staat er bij de beperkingen? Die sectie is geschreven door de mensen die het model het best kennen en wordt standaard overgeslagen door de mensen die ze het hardst nodig hebben.

Is er überhaupt een card? Een leverancier die geen documentatie kan tonen over het model in zijn product, vertelt je iets. Niet noodzakelijk dat het product slecht is, maar wel dat je er later geen vragen over zal kunnen beantwoorden.

Waar moet je op letten bij model cards

Ze is geschreven door de aanbieder. Een model card is zelfgerapporteerd. Het is een doordachte verklaring van de mensen die het ding gebouwd hebben, geen onafhankelijke beoordeling, en de neiging om het model gunstig voor te stellen is precies wat je zou verwachten.

Ze veroudert. Modellen worden bijgewerkt, soms zonder zichtbare versiewissel. Een card die voor een versie geschreven is die jij niet meer draait, beschrijft iets anders.

Ze zegt niets over jouw data. Elk gerapporteerd cijfer komt uit de evaluatieset van de aanbieder. Hoe het model op jouw documenten, in jouw taal en op jouw proces presteert, is een vraag die enkel je eigen testen beantwoorden.

Een card is geen compliance. Documentatie van je leverancier hebben, ontslaat je niet van je eigen verplichtingen als jouw toepassing hoog-risico is. Het is een stuk in je dossier en geen vervanging ervan.

Een ontbrekende sectie is ook informatie. Een card zonder sectie over trainingsdata en zonder beperkingen is geen card die niets te melden had. Het is een card die ervoor gekozen heeft om dat niet te doen.