Ongestructureerde data

Wat is ongestructureerde data?

Ongestructureerde data is data die niet in een vaste vorm van rijen en kolommen zit. Een ondertekend contract, een mailwisseling, een foto van een beschadigde pallet, een opgenomen supportgesprek, een gescande leveringsbon, een ontwerpbestand: geen van die dingen heeft velden die je kan bevragen.

Het woord ongestructureerd is een beetje misleidend, en het helpt om te weten waarom. Een contract heeft massa's structuur. Er staan clausules in, partijen, datums en bedragen, en een jurist leest het zonder moeite. Wat het niet heeft, is een structuur die een database begrijpt. De eerlijke versie van de term is dus: niet gestructureerd op een manier waarop een machine er rechtstreeks in kan zoeken.

Voor de meeste bedrijven is dit de grootste helft van wat ze bezitten. Je ERP bevat transacties, en alles wat die transacties uitlegt, de onderhandeling, de afspraak, de klacht, de foto van de levering, zit ergens helemaal anders.

Gestructureerd, semi-gestructureerd, ongestructureerd

Er zijn drie categorieën die je best uit elkaar kan houden, want ze vragen een andere aanpak.

Gestructureerde data zit in een vooraf vastgelegd schema. Een tabel in je ERP, een Excel met vaste kolommen, een lijn in je CRM. Je weet op voorhand wat elk veld betekent en welk type het is, en je kan het met SQL bevragen.

Semi-gestructureerde data draagt haar structuur met zich mee in plaats van in een schema. Een JSON-bestand, een XML-bericht, een logregel. Er zijn velden en labels, maar de vorm kan van record tot record verschillen, en twee berichten van hetzelfde type hoeven niet dezelfde sleutels te hebben.

Ongestructureerde data heeft helemaal geen machineleesbare velden. De betekenis zit in de inhoud, en eraan geraken betekent dat je die inhoud moet interpreteren.

De scheidslijn die in de praktijk telt, is niet het formaat maar de vraag of je kan filteren en optellen zonder eerst de inhoud te interpreteren. Daarom is een PDF ongestructureerd, ook al is het een heel ordelijk bestand.

Waarom AI de vraag heropende

Ongestructureerde data is niet nieuw, en de wens om ze te gebruiken evenmin. Wat veranderd is, is wat je ermee kan zonder een project per documenttype.

De oude aanpak was extractie. Je bouwde een sjabloon dat wist waar het factuurnummer op de factuur van een leverancier stond, en dat werkte tot die leverancier zijn lay-out herwerkte. Elk documenttype betekende een nieuw sjabloon, en elke lay-outwijziging betekende onderhoud. Daarom liepen zoveel van die projecten na twee documenttypes vast.

Taalmodellen hebben die rekensom veranderd. Een model dat een document leest en de velden teruggeeft die je gevraagd hebt, heeft geen sjabloon nodig, en het komt overweg met een lay-out die het nooit gezien heeft. Daarnaast maakten embeddings het mogelijk om op betekenis te zoeken in plaats van op trefwoorden, zodat je de alinea vindt die een vraag beantwoordt, ook als er geen enkel woord uit die vraag in staat.

Die twee samen zijn wat ongestructureerde data terug op de agenda gezet heeft. Niet omdat de data veranderd is, maar omdat ze lezen niet meer telkens maatwerk vraagt.

Wat je er nu mee kan

Vragen beantwoorden uit documenten. Een zoekopstelling op je beleidsteksten, handleidingen of contracten, zodat mensen een antwoord met bronverwijzing krijgen in plaats van een map om in te zoeken.

Documenten omzetten naar velden. De leverancier, de datum, het bedrag en de betaaltermijn uit een factuur halen, of de opzegtermijn en de vervaldatum uit een contract, zodat het als gestructureerde data in een systeem kan.

Classificeren en doorsturen. Bepalen waarover een binnenkomende mail of een formulier gaat en het naar de juiste ploeg sturen. Dat is vaak waardevoller dan eender welk slim antwoord, want het haalt een wachtrij weg.

Opnames doorzoekbaar maken. Gesprekken en vergaderingen uitschrijven, waardoor een jaar aan supportgesprekken plots iets wordt dat je kan analyseren.

Foto's lezen. Schaderapporten, meterstanden, de staat bij levering. Dat zijn gewone bedrijfsprocessen die nooit gedigitaliseerd zijn omdat een foto geen data was.

Merk op dat de meeste van die dingen eindigen met ongestructureerde data die gestructureerde data wordt. Dat is meestal ook de bedoeling. De waarde zit zelden in het document zelf, ze zit in het veld dat je eruit gehaald hebt en dat je nu kan tellen, filteren en rapporteren.

Waar moet je op letten bij ongestructureerde data

Het volume is het probleem niet, terugvinden wel. Opslag is goedkoop en de bestanden staan er al. De reden dat niemand ze gebruikt, is dat niemand kan zeggen welke versie de huidige is en welke vervangen werd.

Metadata is wat het bruikbaar maakt. Bron, datum, eigenaar, doelgroep, status. Zonder die kan je zoekstap geen ontwerp van een ondertekende versie onderscheiden, of een beleidstekst uit 2019 van degene die ze vervangen heeft.

Rechten zijn hier lastiger dan in een database. Row level security op een tabel is een opgelost probleem. Een mappenstructuur die vijftien jaar gegroeid is, is dat niet, en een chatvenster haalt met plezier een document boven dat een mens nooit gevonden zou hebben.

Persoonsgegevens zitten erin verstopt. Een Excel met een kolom mailadres is duidelijk. Een cv in een oude map, een medisch attest in een bijlage, een naam in het onderschrift van een foto: dat zijn dezelfde verplichtingen zonder een greintje zichtbaarheid.

Niet alles verdient een plek in je index. De reflex is om je gereedschap op alles te richten wat je hebt. Een kleinere, gekozen set actuele documenten geeft betere antwoorden dan een volledig archief, want dan stopt je verouderd materiaal met concurreren tegen je actuele materiaal.