Podcast-Thema2 Min. Lesezeit
Wie funktionieren große Sprachmodelle?
Ein großes Sprachmodell ist ein Programm, das in sehr vielen geschriebenen Texten Muster gelernt hat und damit vorhersagt, welches Wort oder Wortstück als Nächstes kommen sollte. Wer das immer wieder wiederholt, erhält Sätze, Antworten, Aufsätze und Code. Warum so ein Modell überzeugt klingen und trotzdem danebenliegen kann, erklärt diese Seite.
bre Fragen für deine nächste Folge
Die kurze Antwort
Ein Sprachmodell hat keine Liste fertiger Antworten gespeichert. Es besteht aus einer sehr großen Menge von Zahlen, den sogenannten Parametern. Sie wurden im Training so lange abgestimmt, bis das Modell gut darin war, das nächste Stück Text zu erraten.
Das Spannende daran: Ein so einfaches Ziel reicht erstaunlich weit. Wer das nächste Wort gut vorhersagen will, muss offenbar nebenbei Grammatik, Fakten, Stil und einige Denkgewohnheiten aufschnappen.
Was man weiß und was umstritten ist
Fest steht: Das Modell erzeugt wahrscheinliche Texte und prüft nicht, ob sie stimmen. Deshalb kann es Details erfinden und trotzdem selbstsicher klingen. Dieses Verhalten nennt man oft Halluzination, und es gilt als bekannte Schwäche.
Offen ist dagegen, wie viel ein Modell wirklich versteht und wie es zu bestimmten Antworten kommt. Darüber streiten Forschende bis heute, und die Frage gehört zur Geschichte dazu. Was in diesen Netzen genau passiert, wird noch erforscht.
Was eine Folge auf bre behandeln würde
Eine Folge würde die Bausteine der Reihe nach durchgehen:
- Wörter werden zu Tokens: Text wird in kleine Stücke zerlegt, und jedes Stück wird in eine Liste von Zahlen umgewandelt.
- Das nächste Token vorhersagen: Aus allem bisher Gesagten wird das wahrscheinlich nächste Token geraten. Aneinandergereiht ergeben diese Vermutungen ganze Absätze.
- Transformer und Attention: Diese Bauweise gewichtet, welche früheren Wörter für das aktuelle am wichtigsten sind. So behält das Modell den Zusammenhang im Blick.
- Wie das Training die Zahlen anpasst: Das Modell rät, wird mit echtem Text verglichen, und seine Parameter werden leicht verschoben. In riesigem Maßstab wiederholt, wird das Modell dadurch trainiert.
- Vom Rohmodell zum Assistenten: Nach dem ersten Training wird das Modell mit Beispielen und Rückmeldungen nachjustiert, damit es Anweisungen befolgt und höflich antwortet.
- Warum Modelle danebenliegen und was noch unklar ist: Was es heißt, wenn ein Modell Details erfindet, und wo die Forschung noch im Dunkeln tappt.
So hörst du zu und fragst nach
Du gibst bre ein Thema, und bre macht daraus eine Podcast-Folge, in der bis zu drei KI-Hosts das Thema besprechen. Die Hosts sind KI und können sich irren. Nimm eine Folge deshalb als Einstieg und prüfe nach, was dir wichtig ist.
Wenn dir beim Zuhören etwas unklar bleibt, tippst du im Player auf Talk und stellst deine Frage per Sprache oder Text. Ein Host antwortet auf Grundlage der Folge oder sagt, dass sie das nicht behandelt hat.
Häufige Fragen
- Ist ein großes Sprachmodell nur eine Autovervollständigung?
- Es beruht auf derselben Grundidee, nämlich vorherzusagen, was als Nächstes kommt, aber in viel größerem Maßstab und mit einer Bauweise, die viel Kontext gewichtet. So entstehen lange, zusammenhängende Texte. Ob das schon Verstehen ist, wird von Forschenden weiter diskutiert.
- Woher hat ein Sprachmodell sein Wissen?
- Aus dem Training mit sehr großen Textsammlungen wie Büchern, Webseiten und Code. Es bewahrt diese Dokumente nicht wie eine Bibliothek auf, sondern stimmt seine Zahlen auf Muster ab. Deshalb kann es Fakten nur unvollkommen wiedergeben.
- Warum erfinden Sprachmodelle Dinge?
- Sie sind darauf trainiert, plausiblen Text zu erzeugen, nicht Fakten zu prüfen. Weist das Muster auf eine Antwort, die richtig klingt, aber falsch ist, kann das Modell sie trotzdem selbstsicher behaupten. Man spricht oft von Halluzination, und es ist eine bekannte Einschränkung.
- Was ist ein Transformer in einem Sprachmodell?
- Der Transformer ist die Bauweise des neuronalen Netzes hinter den meisten modernen Sprachmodellen. Sein wichtigstes Merkmal heißt Attention: Das Modell gewichtet, wie relevant jedes frühere Wort für die Vorhersage des nächsten ist. Das hilft bei langen Passagen und beim Kontext.
Fragen für deine nächste Folge
- Wie groß ist das Universum?Das beobachtbare Universum misst etwa 93 Milliarden Lichtjahre. Das ganze könnte viel größer oder unendlich sein. Was wir wissen und was nicht.
- Wie können Statistiken in die Irre führen?Statistiken können mit Mittelwerten, Stichproben, Prozenten und Diagrammen täuschen, ohne dass eine Zahl falsch ist. So passiert es und was man fragen sollte.
- Wie ist der Jazz entstanden?Der Jazz wuchs im frühen 20. Jahrhundert in New Orleans aus Blues, Ragtime, Blasmusik und afrikanischen Traditionen. So geht die Geschichte und das ist umstritten.
- Wie ist das Leben auf der Erde entstandenWie das Leben entstand, weiß niemand genau. Was gesichert ist, was umstritten bleibt und wie bre daraus eine Podcast-Folge macht.
- Wie entstand das Alphabet?Vom ägyptischen Hieroglyphen über semitische Sprecher zu phönizischen, griechischen und lateinischen Buchstaben: was man weiß und was unsicher bleibt.
- Wie veränderte der Schwarze Tod Europa?Der Schwarze Tod raffte in den 1340er-Jahren einen großen Teil der Menschen Europas dahin. Was er für Arbeit, Kirche und Alltag bedeutete und was strittig bleibt.
Jede Episode wird auf deine Anfrage per KI erstellt und kann Fehler enthalten oder veraltet sein. Prüf Wichtiges bitte nach. Gedacht zum Entdecken und Lernen, nicht als medizinische, finanzielle oder rechtliche Beratung.