Vraag2 min leestijd

Hoe werken grote taalmodellen

Een groot taalmodel is een programma dat patronen heeft geleerd uit een enorme hoeveelheid geschreven tekst. Daarmee voorspelt het steeds welk woord of woorddeel er volgt. Dat klinkt eenvoudig, maar het verklaart zowel wat deze modellen kunnen als waarom ze soms zelfverzekerd ongelijk hebben.

bre Vragen die we beantwoorden

Het korte antwoord

Een groot taalmodel is een programma dat patronen heeft geleerd in een enorme hoeveelheid geschreven tekst. Met die patronen voorspelt het welk woord, of welk stukje van een woord, er als volgende hoort te komen. Doe je dat telkens opnieuw, dan krijg je zinnen, antwoorden, opstellen en code.

Er zit geen opgeslagen lijst met antwoorden in. Wat er wel in zit, is een heel grote verzameling getallen, parameters genoemd. Die zijn tijdens de training zo lang bijgesteld tot het model goed werd in raden.

Wat we weten en wat nog besproken wordt

Het opvallende is hoe ver een eenvoudig doel kan reiken. Om het volgende woord goed te voorspellen lijkt een model onderweg grammatica, feiten, stijl en een aantal redeneergewoonten op te pikken.

Onderzoekers discussiëren nog steeds over hoeveel een model echt begrijpt en over hoe het tot bepaalde antwoorden komt. Die open vraag hoort bij het verhaal. Ze verklaart ook de rare missers: een model kan zelfverzekerd klinken en toch ongelijk hebben.

Wat een aflevering op bre behandelt

Je typt een onderwerp en bre maakt er een podcastaflevering van. Een aflevering over dit onderwerp loopt de onderdelen op volgorde langs:

  • Van woorden naar tokens: tekst wordt in kleine stukjes gehakt en elk stukje wordt omgezet in een lijst getallen waar het model mee kan werken.
  • Het volgende token voorspellen: het model gokt welk token waarschijnlijk volgt, en door die gokken aan elkaar te rijgen ontstaan hele alinea's.
  • De transformer en aandacht: dit ontwerp laat het model wegen welke eerdere woorden het zwaarst tellen voor het huidige woord, zodat het de context bijhoudt.
  • Hoe training de getallen bijstelt: het model gokt, wordt beoordeeld aan de hand van echte tekst en krijgt zijn parameters een klein zetje. Dat op enorme schaal herhalen is de training.
  • Van ruw model naar assistent: daarna wordt het model verfijnd met voorbeelden en feedback, zodat het instructies opvolgt en beleefd antwoordt.
  • Waarom modellen fouten maken en wat niemand nog volledig begrijpt: een model levert waarschijnlijke tekst en geen gecontroleerde waarheid, dus het kan details verzinnen. Onderzoekers zoeken nog uit wat er binnen die netwerken gebeurt, en we scheiden wat bekend is van wat betwist wordt.

Zo luister en vraag je

De gastheren en gastvrouwen op bre zijn AI en kunnen ook fouten maken. Zie een aflevering dus als beginpunt en controleer wat voor jou belangrijk is.

Heb je tijdens het luisteren een vraag? Druk in de speler op Talk en stel je vraag met je stem of typ hem. Een host antwoordt op basis van wat de aflevering behandelt, of zegt dat het niet aan bod kwam.

Veelgestelde vragen

Is een groot taalmodel gewoon automatisch aanvullen?
Het is op hetzelfde idee gebouwd: voorspellen wat er komt. Alleen is de schaal veel groter en weegt het ontwerp veel context mee. Daardoor kan het lange, samenhangende tekst schrijven. Of dat neerkomt op begrip, is iets waarover onderzoekers nog discussiëren.
Waar haalt een taalmodel zijn kennis vandaan?
Uit training op heel grote verzamelingen tekst, zoals boeken, websites en code. Het bewaart die documenten niet als een bibliotheek. Het stelt zijn getallen bij om patronen vast te leggen, en daarom kan het feiten onvolledig onthouden.
Waarom verzinnen taalmodellen dingen?
Ze zijn getraind om aannemelijke tekst te maken en niet om feiten te controleren. Wijst het patroon naar een antwoord dat klopt qua klank maar niet qua inhoud, dan kan het model dat toch stellig zeggen. Dit heet vaak hallucineren en het is een bekende beperking.
Wat is een transformer in een taalmodel?
Een transformer is het ontwerp van neurale netwerken achter de meeste moderne taalmodellen. Het kenmerk is aandacht: het model weegt hoe relevant elk eerder woord is bij het voorspellen van het volgende. Zo kan het lange passages en context aan.

Vragen die we beantwoorden

Elke aflevering wordt door AI gemaakt op het moment dat je erom vraagt en kan dus fouten bevatten of verouderd zijn; controleer wat belangrijk is. Voor interesse en leren, niet als medisch, financieel of juridisch advies.