Ai-tokens, de verborgen economie

De Verborgen Economie van Taal: Waarom AI Je Woorden Niet Leest

Het is de grootste, meest verbreide cognitieve illusie van het digitale tijdperk. We typen een complex verzoek de leegte in, zien de machine antwoorden met naadloze, vloeiende coherentie, en vallen meteen voor de misleiding. Deze gladde ervaring verhult echter de werkelijke aard van de berekening. Grote taalmodellen (LLM’s) lezen of denken niet; ze voeren een continue, statistische voorspelling uit. Ze ontleden onze complexe, genuanceerde menselijke taal tot een koude stroom van numerieke coördinaten en voeren bij elk uitvoerteken geavanceerde berekeningen uit. Zie de perfecte prompt.

Deze directe, onopgemerkte transformatie vormt de kern van moderne kunstmatige intelligentie. Om te begrijpen waarom deze systemen soms “hallucineren”, waarom de toewijzing van rekenkracht voor wereldwijde taken sterk uiteenloopt, en hoe de economische structuur van intelligentie daadwerkelijk is opgebouwd, moet je kijken naar de meest fundamentele dataeenheid: het token. Dit minuscule stukje informatie vormt het fundament van innovatie in de generatieve ruimte en bepaalt alles, van verwerkingssnelheid tot de uiteindelijke kosten van je maandelijkse API-rekening.

De Digitale Slagerij

Wanneer je een tekstreeks naar een LLM stuurt, is de allereerste bewerking tokenisatie. Zie dit proces als een digitale slagerij waarin de tekst wordt opgedeeld in de statistisch meest efficiënte fragmenten. Het neurale netwerk, dat het zware werk verricht, heeft alleen interactie met deze tokens.

De aard van het token is een compromis. Het is geen heel woord, maar ook niet slechts een letter. Eerdere modellen kampten ofwel met een onbeheersbare woordenschat van elk afzonderlijk woord, ofwel met reeksen losse letters die te lang waren om de context te behouden. De oplossing, gestandaardiseerd door architecturen die steunen op subwoordalgoritmen zoals Byte-Pair Encoding (BPE), was slim: comprimeer veelgebruikte woorden tot één eenheid, maar splits complexe, zeldzame of samengestelde woorden op in bekende, herkenbare subonderdelen [1].

Analyse van Wereldwijde Cyberveiligheid

Om deze mechanische realiteit in actie te zien, analyseren we een wereldwijd relevante zin die structureel dicht is: “Cybersecurity is often overlooked” (Cyberveiligheid wordt vaak over het hoofd gezien).

Een mens leest dit als vier functionele woorden en één leesteken. Maar wanneer dit door de tokenizer van een modern LLM wordt gefilterd, valt deze enkele zin uiteen in negen afzonderlijke tokens.

Volgorde	Tekstfragment (Token)	Type Splitsing
1	Cy	Beginprefix, geoptimaliseerd voor efficiëntie
2	ber	Veelvoorkomend lettergreep-/achtervoegselfragment
3	security	Een bekend begrip, waarschijnlijk geheel behouden
4	is	Veelvoorkomend werkwoord, spatie opgenomen voor context
5	often	Bekend enkel woord
6	over	Veelvoorkomend voorvoegsel/woordstam
7	look	Basiswerkwoord
8	ed	Verleden-tijdachtervoegsel
9	.	Leesteken-entiteit

Een cruciaal punt voor de bruikbaarheid wordt hier duidelijk: het woord “Cybersecurity” wordt niet als één geheel verwerkt; het wordt opgesplitst in drie delen. Deze opdeling is geen gebrek, maar een functie. Het is precies dit vermogen om onderdelen af te breken en direct weer samen te voegen (Cy + ber + security) waarmee het model neologismen, jargon en complexe samengestelde structuren kan verwerken die het letterlijk nog nooit eerder is tegengekomen, met behoud van de gezamenlijke betekenis van de onderdelen. Let ook op dat de noodzakelijke voorafgaande spatie vaak aan het begin van het token wordt vastgemaakt (_is), een subtiel technisch detail dat het model gebruikt voor nauwkeurige parsing.

Van Betekenis naar Meting: De Vectorconversie

Eenmaal opgedeeld, is het token nutteloos totdat het wordt omgezet in wiskunde. De machine kan geen tekenreeksen verwerken. Elk token wordt direct gekoppeld aan een unieke numerieke ID, afkomstig uit de eindige, interne woordenschat van het model.

De machine werkt nu volledig in code. In ons voorbeeld ontvangt het model de volledige inhoud als een lange reeks gehele getallen, zoals [7912, 105, 5025, 392, 1882, 992, 1530, 0] (deze ID’s zijn illustratief).

Dit is nog maar het halve verhaal. De ID’s zijn slechts labels. De ware betekenis wordt toegankelijk in de embeddinglaag. Hier wordt de ID van het token omgezet in een vector: een lange reeks getallen met decimalen. Deze vector functioneert als de ruimtelijke coördinaten van het token binnen een enorme, hoogdimensionale begrippenkaart [2]. Tokens die vergelijkbare ideeën vertegenwoordigen, zoals “man” en “vrouw”, liggen in deze ruimte wiskundig dichter bij elkaar dan, bijvoorbeeld, “man” en “tractor”. Het is deze vectorrepresentatie, afgeleid uit de omringende context, die het LLM in staat stelt relaties en betekenis te begrijpen die verder gaan dan simpel opzoeken.

De Economische Logica en de Taalbelasting

Deze technische realiteit heeft verstrekkende economische gevolgen voor de bedrijfsstrategie. Omdat de toewijzing van rekenkracht direct gekoppeld is aan het aantal verwerkte tokens (zowel input als output), ontstaat er een cruciale kostenasymmetrie.

De meeste fundamentele modellen zijn overwegend getraind op Engelse data. Hun tokenizers zijn daardoor primair geoptimaliseerd voor Engels en vergelijkbare taalstructuren. Talen met zwaardere verbuigingen, zoals Turks, of talen die sterk leunen op samenstellingen, zoals Duits of de Scandinavische talen, hebben vaak aanzienlijk meer tokens nodig om dezelfde informatie over te brengen als het Engelse origineel. Dit verschil is niet triviaal; het genereren van gelijkwaardige content in sommige talen kan 20% tot 50% meer tokens vergen dan het Engelse origineel [3].

Deze ongelijkheid—de zogenaamde “tokenbelasting”—is een stille maar krachtige factor in de wereldwijde inzet van AI. Voor een multinationale organisatie liggen de kosten voor het verwerken en genereren van content in niet-geoptimaliseerde talen inherent hoger, wat subtiele barrières creëert voor gelijkwaardige toegang en volledige adoptie in niet-Engelstalige markten.

De Urgentie van Impact en de Uiteindelijke Voorspelling

Het hele mechanisme bestaat om de laatste stap mogelijk te maken: de voorspelling van het volgende token. Het model gebruikt de verwerkte vectorreeks om, op basis van de statistische relatie tussen alle voorafgaande tokens, te berekenen welk van zijn 100.000 mogelijke tokens de absoluut hoogste kans heeft om als volgende te verschijnen [4]. Het schrijft geen zin; het selecteert het statistisch meest waarschijnlijke getal, voegt dat getal toe aan de reeks en begint onmiddellijk met de berekening voor het token dat daarop moet volgen.

Voor de gebruiker verloopt dit proces onzichtbaar. Wij zien vloeiende tekst. Maar voor wie het platform beheert, is het token de meterstand. Elk uitvoerteken is een microtransactie van rekenkracht, met directe gevolgen voor de snelheid en de impact van de dienst. Nu contextvensters groeien en AI steeds verder geïntegreerd raakt, blijft het token de onveranderlijke valuta van machine-intelligentie. Om het komende AI-tijdperk te beheersen, moet je eerst de diepe, subtiele en vaak kostbare economie van het token zelf onder de knie krijgen.

Gerelateerde signalen

• De crisis in AI-trainingsdata en wat er na 2026 gebeurt - Legt uit waarom de tokenvoorraad eindig is wanneer schone menselijke tekst opraakt.
• World Models, Voorbij de Autoregressieve Illusie - Toont waarom voorspelling op tokenniveau tekortschiet voor agents, wat de noodzaak van modellen die toestandsveranderingen simuleren onderbouwt.
• AI-kosten Dalen 1000% Terwijl Techgiganten Naar Nul Racen - Verbindt tokenfacturering met de prijzenoorlog die inferentie verandert in een commodity-nutsvoorziening.

Referenties

[1] Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al. Attention Is All You Need. Advances in Neural Information Processing Systems. 2017;30. arXiv

[2] Mikolov T, Chen K, Corrado G, Dean J. Efficient Estimation of Word Representations in Vector Space. arXiv preprint arXiv:1301.3781. 2013. arXiv

[3] Petrov A, La Malfa E, Torr P, Bibi A. Language Modeling Is Compression. arXiv preprint arXiv:2309.10668. 2023. arXiv

[4] Brown TB, Mann B, Ryder N, Subbiah M, Kaplan JD, Dhariwal P, et al. Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems. 2020;33:1877–1901. PDF