Deep learning

Wat is deep learning?

Deep learning is machine learning met neurale netwerken die uit veel lagen bestaan. Vandaar de naam: het netwerk is "diep" omdat er tussen input en output meerdere verborgen lagen zitten, bij grote modellen zelfs honderden.

Die lagen zijn geen technisch detail, ze zijn het hele punt. Elke laag bouwt voort op de vorige en leert een abstracter patroon. Bij beeldherkenning pikken de eerste lagen randen en simpele vormen op, diepere lagen combineren die tot volledige objecten: een gezicht, een nummerplaat, een kras op een paneel. Hetzelfde beeld kom je tegen bij computer vision, dat bijna volledig op deep learning draait.

Hoe zo'n netwerk vanbinnen werkt, met neuronen die signalen doorgeven en bijleren via backpropagation, lees je in ons artikel over het neuraal netwerk. Hier gaat het over de vraag wat er verandert zodra je zo'n netwerk veel lagen geeft en met veel data traint.

Het verschil met klassieke machine learning

Bij klassieke machine learning kies jij welke kenmerken het model te zien krijgt. Wil je wanbetalers voorspellen, dan beslis jij dat betalingshistoriek, openstaand saldo en sector de relevante kolommen zijn. Dat handwerk heet feature engineering, en de kwaliteit ervan bepaalt grotendeels hoe goed je model wordt.

Deep learning slaat die stap over. Het netwerk krijgt ruwe data binnen, pixels, audio of tekst, en leert zelf welke kenmerken ertoe doen. Niemand vertelt het model wat een rand of een klinker is. Dat ontdekt het in de lagen.

Dat ene verschil werkt door op vier vlakken:

Data
Een klassiek model haalt al resultaat uit enkele honderden of duizenden voorbeelden. Deep learning heeft grote hoeveelheden trainingsdata nodig om al die lagen zinvol te vullen.

Rekenkracht
Een klassiek model traint op een gewone laptop in seconden tot uren. Een diep netwerk bestaat vooral uit matrixvermenigvuldigingen, en daar is een GPU veel sneller in dan een processor. Trainen duurt al snel uren tot weken.

Uitlegbaarheid
Bij een klassiek model zie je vaak welke factor de doorslag gaf. Een diep netwerk met miljoenen parameters kan je moeilijk uitleggen aan een klant, een auditor of een kredietcomité.

Datatype
Klassieke modellen doen het uitstekend op gestructureerde tabellen. Deep learning wint op ongestructureerde data: beeld, geluid, video en tekst.

De doorbraak van 2012

Het idee achter diepe netwerken is decennia oud, maar er ontbraken lange tijd twee ingrediënten: genoeg data en genoeg rekenkracht.

In 2012 kwam alles samen. Alex Krizhevsky, Ilya Sutskever en Geoffrey Hinton trainden een diep netwerk op GPU's en wonnen er de ImageNet-wedstrijd mee, een jaarlijkse competitie waarin software meer dan een miljoen foto's in duizend categorieën moet indelen. Hun netwerk, met 60 miljoen parameters, liet de klassieke aanpakken ver achter zich.

Die combinatie is sindsdien de motor achter elke grote sprong in AI: grote gelabelde datasets, plus GPU's die het rekenwerk aankunnen. De taalmodellen van vandaag zijn hetzelfde recept, uitvergroot.

Deep learning in de praktijk

Vrijwel alles wat vandaag het label "AI" draagt, draait op deep learning:

• Beeld en video. Kwaliteitscontrole aan de productielijn, medische beeldvorming, nummerplaatherkenning. Het domein van computer vision.

• Spraak. Speech-to-text die callcentergesprekken uitschrijft, en de dicteerfunctie op je telefoon.

• Taal. Vertaalmachines, chatbots en elk large language model. De transformer-architectuur waarop die modellen bouwen, is zelf een diep netwerk.

• Generatieve AI. Modellen die tekst, beeld of muziek maken, van ChatGPT tot beeldgeneratoren.

Goed nieuws voor wie ermee aan de slag wil: je hoeft die netwerken zelden zelf te trainen. Je gebruikt een voorgetraind model via een API, of je vertrekt van een bestaand model en traint enkel de laatste lagen bij op je eigen voorbeelden. Dat laatste heet transfer learning en drukt de nood aan data en rekenkracht fors. Een model dat auto's herkent, leer je met een beperkte set foto's ook vrachtwagens herkennen.

Waar moet je op letten bij het gebruik van deep learning

Voor tabellen is het vaak overkill. De meeste bedrijfsdata is gestructureerd: omzet per maand, klanten, voorraad, facturen. Op dat soort tabellen winnen boomgebaseerde modellen zoals gradient boosting en random forests het geregeld van diepe netwerken. Een grote vergelijkende studie uit 2022, over 45 datasets, kwam tot die conclusie voor datasets van pakweg tienduizend rijen, en dat is de schaal waarop de meeste KMO-data zit. Die eenvoudigere modellen trainen bovendien sneller en op gewone hardware.

Het vraagt data die je misschien niet hebt. Duizend verkoopfacturen zijn veel voor een boekhouder, maar weinig voor een diep netwerk dat vanaf nul moet leren. Heb je weinig voorbeelden, kies dan een voorgetraind model of een eenvoudiger algoritme.

Reken de kost. Zelf een diep netwerk trainen betekent GPU-uren huren in de cloud of eigen hardware kopen. Voor de meeste bedrijven is een voorgetraind model via een API een fractie van die prijs.

Je krijgt geen uitleg. Een diep netwerk geeft een antwoord, geen redenering. Moet je beslissingen kunnen motiveren, denk aan kredieten, aanwervingen of verzekeringen, dan weegt dat zwaar. Een eenvoudiger model dat toont welke factoren meespelen, is daar vaak de verstandigere keuze.

Vuistregel: gaat het over beeld, geluid of taal, dan zit je bij deep learning goed, liefst met een voorgetraind model. Gaat het over tabellen uit je eigen systemen, begin dan met een eenvoudiger model en schakel pas op als dat aantoonbaar tekortschiet.

FAQ over deep learning

1. Is deep learning hetzelfde als AI?
Nee. AI is de brede term, machine learning is een deelgebied daarvan, en deep learning is op zijn beurt een deelgebied van machine learning: het stuk dat met diepe neurale netwerken werkt.

2. Heb ik deep learning nodig voor mijn verkoopprognoses?
Meestal niet. Verkoopcijfers zijn tabeldata, en daar presteert een eenvoudiger model zoals gradient boosting vaak even goed of beter, met minder data en een uitlegbaar resultaat.

3. Gebruikt ChatGPT deep learning?
Ja. Elk groot taalmodel is een diep neuraal netwerk, gebouwd op de transformer-architectuur en getraind op enorme hoeveelheden tekst.

4. Hoeveel lagen maakt een netwerk "diep"?
Daar bestaat geen vaste grens voor. Zodra er meerdere verborgen lagen tussen input en output zitten, spreek je van deep learning. Grote moderne modellen tellen er tientallen tot honderden.