Lang geleden las ik River of Gods (2004) van de Britse sciencefictionschrijver Ian McDonald. In die roman spelen artificiële intelligenties mee als personages. Ik dacht toen: wauw, stel je voor dat dat ooit werkelijkheid wordt. Nu schrijven we 2023, kwamen recent de toepassing ChatGPT en een rits aanverwante large language models (LLM) om de hoek kijken in diverse applicaties en voelde ik … ontnuchtering.
Hoe zit zo’n LLM, en specifiek een generative pre-trained transformer (GPT), eigenlijk in elkaar? Als taalmodel maakt een GPT gebruik van een gigantische hoeveelheid tekst- en andere gegevens die online beschikbaar zijn. Deze worden bijeengeschraapt vanop het net (auteursrechten, anyone?), zodat de GPT hieruit kan leren en nieuwe tekst, afbeeldingen, code en dergelijke kan produceren. Een transformer-model is een kunstmatig, diep neuraal netwerk dat intensief getraind werd en wordt op zo’n datasets, om patronen te kunnen afleiden. Op basis van die patroonherkenning kan het dan nieuwe, als door een mens voortgebrachte, output genereren. Denk aan het voeren van een gesprek, een abstract schrijven, een brief opstellen¹ enzovoort.
Zo’n deep learning-model past daarbij het mechanisme van selfattention toe. Dat is een imitatie van hoe aandacht bij de mens functioneert als cognitieve vaardigheid om stimuli te verwerken en daarop adequaat te reageren. Dergelijk mechanisme laat de onderdelen van de input met elkaar in interactie gaan (het ‘zelf’) en de betekenis van elk deel van de invoergegevens differentieel wegen, om aldus uit te zoeken aan welke onderdelen meer of minder soortelijk gewicht toegekend moet worden (de ‘aandacht’). Zo’n neuraal netwerk leert zo meer aandacht te besteden aan de belangrijke delen van de input². Wat belangrijk is, hangt af van de context, en die wordt getraind – vaak door onderbetaalde arbeidskrachten uit lageloonlanden³.
Als model construeert het zo enorm complexe wiskundige voorstellingen van de functies en kenmerken van miljarden lettergrepen, woorden, zinnen en paragrafen in relatie tot en interactie met elkaar⁴. Volg je nog? Het is, statistisch gesproken, een autoregressief model, dat toekomstige waarden voorspelt (nieuwe data) op basis van waarden uit het verleden (berg bestaande data). Volgens Lee Boonstra, software engineer tech lead en advocaat bij Google: “Een LLM voorspelt de kans op het volgende woord op basis van wat het model ooit aan data heeft gezien.”⁵ De output vormt een aggregaat van deze relaties en interacties en de daarbij gegeven ‘aandachtsscores’.
