Podcast-Thema2 Min. Lesezeit

Wie funktionieren große Sprachmodelle?

Ein großes Sprachmodell ist ein Programm, das in sehr vielen geschriebenen Texten Muster gelernt hat und damit vorhersagt, welches Wort oder Wortstück als Nächstes kommen sollte. Wer das immer wieder wiederholt, erhält Sätze, Antworten, Aufsätze und Code. Warum so ein Modell überzeugt klingen und trotzdem danebenliegen kann, erklärt diese Seite.

bre Fragen für deine nächste Folge

Die kurze Antwort

Ein Sprachmodell hat keine Liste fertiger Antworten gespeichert. Es besteht aus einer sehr großen Menge von Zahlen, den sogenannten Parametern. Sie wurden im Training so lange abgestimmt, bis das Modell gut darin war, das nächste Stück Text zu erraten.

Das Spannende daran: Ein so einfaches Ziel reicht erstaunlich weit. Wer das nächste Wort gut vorhersagen will, muss offenbar nebenbei Grammatik, Fakten, Stil und einige Denkgewohnheiten aufschnappen.

Was man weiß und was umstritten ist

Fest steht: Das Modell erzeugt wahrscheinliche Texte und prüft nicht, ob sie stimmen. Deshalb kann es Details erfinden und trotzdem selbstsicher klingen. Dieses Verhalten nennt man oft Halluzination, und es gilt als bekannte Schwäche.

Offen ist dagegen, wie viel ein Modell wirklich versteht und wie es zu bestimmten Antworten kommt. Darüber streiten Forschende bis heute, und die Frage gehört zur Geschichte dazu. Was in diesen Netzen genau passiert, wird noch erforscht.

Was eine Folge auf bre behandeln würde

Eine Folge würde die Bausteine der Reihe nach durchgehen:

  • Wörter werden zu Tokens: Text wird in kleine Stücke zerlegt, und jedes Stück wird in eine Liste von Zahlen umgewandelt.
  • Das nächste Token vorhersagen: Aus allem bisher Gesagten wird das wahrscheinlich nächste Token geraten. Aneinandergereiht ergeben diese Vermutungen ganze Absätze.
  • Transformer und Attention: Diese Bauweise gewichtet, welche früheren Wörter für das aktuelle am wichtigsten sind. So behält das Modell den Zusammenhang im Blick.
  • Wie das Training die Zahlen anpasst: Das Modell rät, wird mit echtem Text verglichen, und seine Parameter werden leicht verschoben. In riesigem Maßstab wiederholt, wird das Modell dadurch trainiert.
  • Vom Rohmodell zum Assistenten: Nach dem ersten Training wird das Modell mit Beispielen und Rückmeldungen nachjustiert, damit es Anweisungen befolgt und höflich antwortet.
  • Warum Modelle danebenliegen und was noch unklar ist: Was es heißt, wenn ein Modell Details erfindet, und wo die Forschung noch im Dunkeln tappt.

So hörst du zu und fragst nach

Du gibst bre ein Thema, und bre macht daraus eine Podcast-Folge, in der bis zu drei KI-Hosts das Thema besprechen. Die Hosts sind KI und können sich irren. Nimm eine Folge deshalb als Einstieg und prüfe nach, was dir wichtig ist.

Wenn dir beim Zuhören etwas unklar bleibt, tippst du im Player auf Talk und stellst deine Frage per Sprache oder Text. Ein Host antwortet auf Grundlage der Folge oder sagt, dass sie das nicht behandelt hat.

Häufige Fragen

Ist ein großes Sprachmodell nur eine Autovervollständigung?
Es beruht auf derselben Grundidee, nämlich vorherzusagen, was als Nächstes kommt, aber in viel größerem Maßstab und mit einer Bauweise, die viel Kontext gewichtet. So entstehen lange, zusammenhängende Texte. Ob das schon Verstehen ist, wird von Forschenden weiter diskutiert.
Woher hat ein Sprachmodell sein Wissen?
Aus dem Training mit sehr großen Textsammlungen wie Büchern, Webseiten und Code. Es bewahrt diese Dokumente nicht wie eine Bibliothek auf, sondern stimmt seine Zahlen auf Muster ab. Deshalb kann es Fakten nur unvollkommen wiedergeben.
Warum erfinden Sprachmodelle Dinge?
Sie sind darauf trainiert, plausiblen Text zu erzeugen, nicht Fakten zu prüfen. Weist das Muster auf eine Antwort, die richtig klingt, aber falsch ist, kann das Modell sie trotzdem selbstsicher behaupten. Man spricht oft von Halluzination, und es ist eine bekannte Einschränkung.
Was ist ein Transformer in einem Sprachmodell?
Der Transformer ist die Bauweise des neuronalen Netzes hinter den meisten modernen Sprachmodellen. Sein wichtigstes Merkmal heißt Attention: Das Modell gewichtet, wie relevant jedes frühere Wort für die Vorhersage des nächsten ist. Das hilft bei langen Passagen und beim Kontext.

Fragen für deine nächste Folge

Jede Episode wird auf deine Anfrage per KI erstellt und kann Fehler enthalten oder veraltet sein. Prüf Wichtiges bitte nach. Gedacht zum Entdecken und Lernen, nicht als medizinische, finanzielle oder rechtliche Beratung.