Vraag2 min leestijd
Hoe werken grote taalmodellen
Een groot taalmodel is een programma dat patronen heeft geleerd uit een enorme hoeveelheid geschreven tekst. Daarmee voorspelt het steeds welk woord of woorddeel er volgt. Dat klinkt eenvoudig, maar het verklaart zowel wat deze modellen kunnen als waarom ze soms zelfverzekerd ongelijk hebben.
bre Vragen die we beantwoorden
Het korte antwoord
Een groot taalmodel is een programma dat patronen heeft geleerd in een enorme hoeveelheid geschreven tekst. Met die patronen voorspelt het welk woord, of welk stukje van een woord, er als volgende hoort te komen. Doe je dat telkens opnieuw, dan krijg je zinnen, antwoorden, opstellen en code.
Er zit geen opgeslagen lijst met antwoorden in. Wat er wel in zit, is een heel grote verzameling getallen, parameters genoemd. Die zijn tijdens de training zo lang bijgesteld tot het model goed werd in raden.
Wat we weten en wat nog besproken wordt
Het opvallende is hoe ver een eenvoudig doel kan reiken. Om het volgende woord goed te voorspellen lijkt een model onderweg grammatica, feiten, stijl en een aantal redeneergewoonten op te pikken.
Onderzoekers discussiëren nog steeds over hoeveel een model echt begrijpt en over hoe het tot bepaalde antwoorden komt. Die open vraag hoort bij het verhaal. Ze verklaart ook de rare missers: een model kan zelfverzekerd klinken en toch ongelijk hebben.
Wat een aflevering op bre behandelt
Je typt een onderwerp en bre maakt er een podcastaflevering van. Een aflevering over dit onderwerp loopt de onderdelen op volgorde langs:
- Van woorden naar tokens: tekst wordt in kleine stukjes gehakt en elk stukje wordt omgezet in een lijst getallen waar het model mee kan werken.
- Het volgende token voorspellen: het model gokt welk token waarschijnlijk volgt, en door die gokken aan elkaar te rijgen ontstaan hele alinea's.
- De transformer en aandacht: dit ontwerp laat het model wegen welke eerdere woorden het zwaarst tellen voor het huidige woord, zodat het de context bijhoudt.
- Hoe training de getallen bijstelt: het model gokt, wordt beoordeeld aan de hand van echte tekst en krijgt zijn parameters een klein zetje. Dat op enorme schaal herhalen is de training.
- Van ruw model naar assistent: daarna wordt het model verfijnd met voorbeelden en feedback, zodat het instructies opvolgt en beleefd antwoordt.
- Waarom modellen fouten maken en wat niemand nog volledig begrijpt: een model levert waarschijnlijke tekst en geen gecontroleerde waarheid, dus het kan details verzinnen. Onderzoekers zoeken nog uit wat er binnen die netwerken gebeurt, en we scheiden wat bekend is van wat betwist wordt.
Zo luister en vraag je
De gastheren en gastvrouwen op bre zijn AI en kunnen ook fouten maken. Zie een aflevering dus als beginpunt en controleer wat voor jou belangrijk is.
Heb je tijdens het luisteren een vraag? Druk in de speler op Talk en stel je vraag met je stem of typ hem. Een host antwoordt op basis van wat de aflevering behandelt, of zegt dat het niet aan bod kwam.
Veelgestelde vragen
- Is een groot taalmodel gewoon automatisch aanvullen?
- Het is op hetzelfde idee gebouwd: voorspellen wat er komt. Alleen is de schaal veel groter en weegt het ontwerp veel context mee. Daardoor kan het lange, samenhangende tekst schrijven. Of dat neerkomt op begrip, is iets waarover onderzoekers nog discussiëren.
- Waar haalt een taalmodel zijn kennis vandaan?
- Uit training op heel grote verzamelingen tekst, zoals boeken, websites en code. Het bewaart die documenten niet als een bibliotheek. Het stelt zijn getallen bij om patronen vast te leggen, en daarom kan het feiten onvolledig onthouden.
- Waarom verzinnen taalmodellen dingen?
- Ze zijn getraind om aannemelijke tekst te maken en niet om feiten te controleren. Wijst het patroon naar een antwoord dat klopt qua klank maar niet qua inhoud, dan kan het model dat toch stellig zeggen. Dit heet vaak hallucineren en het is een bekende beperking.
- Wat is een transformer in een taalmodel?
- Een transformer is het ontwerp van neurale netwerken achter de meeste moderne taalmodellen. Het kenmerk is aandacht: het model weegt hoe relevant elk eerder woord is bij het voorspellen van het volgende. Zo kan het lange passages en context aan.
Vragen die we beantwoorden
- Hoe groot is het heelalHet waarneembare heelal is zo'n 93 miljard lichtjaar breed, maar het hele heelal is mogelijk veel groter of oneindig. Dit weten we wel en dit niet.
- Hoe kunnen statistieken je op het verkeerde been zettenStatistieken kunnen misleiden via gemiddelden, steekproeven, percentages en grafieken zonder dat er één getal fout is. Zo gaat het en wat je kunt vragen.
- Hoe is jazz ontstaan?Jazz ontstond in New Orleans in het begin van de jaren 1900 uit blues, ragtime, brassbands en Afrikaanse muziektradities. Zo gaat het verhaal en dit is onzeker.
- Hoe is het leven op aarde begonnenNiemand weet precies hoe het leven op aarde begon. Dit weten we wel, dit is nog omstreden en zo pakt een aflevering van bre het onderwerp aan.
- Hoe is het alfabet ontstaan?Volg het alfabet van Egyptische hiërogliefen en Semitische sprekers naar Fenicische, Griekse en Latijnse letters en zie waar het bewijs onzeker blijft.
- Hoe veranderde de Zwarte Dood Europa?De Zwarte Dood doodde in de jaren 1340 een enorm deel van de Europeanen. Zo veranderde het arbeid, loon, kerk en dagelijks leven, en dit bespreken historici nog.
Elke aflevering wordt door AI gemaakt op het moment dat je erom vraagt en kan dus fouten bevatten of verouderd zijn; controleer wat belangrijk is. Voor interesse en leren, niet als medisch, financieel of juridisch advies.