Argomento2 min di lettura

Come funzionano i modelli linguistici di grandi dimensioni

Un modello linguistico di grandi dimensioni è un programma che ha imparato schemi da una quantità enorme di testi scritti e li usa per prevedere quale parola, o quale pezzo di parola, debba venire dopo. Ripetendo il procedimento tante volte nascono frasi, risposte, saggi e codice. Non c'è un elenco di risposte già pronte: c'è un insieme grandissimo di numeri, i parametri, regolati durante l'addestramento.

bre Domande da ascoltare

La risposta in breve

Un modello linguistico è un programma che ha imparato schemi da moltissimi testi e li usa per indovinare la parola successiva, o un pezzo di parola. Se lo fa di continuo, ottiene frasi, risposte, saggi e codice.

Non esiste un archivio di risposte memorizzate. Esiste un insieme molto vasto di numeri, chiamati parametri, che durante l'addestramento sono stati regolati finché il modello non è diventato bravo a indovinare.

Cosa sappiamo e cosa è ancora discusso

La cosa interessante è quanto lontano possa arrivare un obiettivo così semplice. Per prevedere bene la parola successiva sembra necessario assimilare per strada grammatica, nozioni, stile e qualche abitudine di ragionamento.

I ricercatori però discutono ancora su quanto un modello comprenda davvero e su come arrivi a certe risposte: è una domanda aperta, e fa parte della storia. Spiega anche gli errori più strani: un modello può sembrare sicuro di sé e sbagliare lo stesso.

Cosa copre un episodio su bre

Un episodio ripercorrerebbe i vari passaggi in ordine:

  • Le parole diventano token: il testo viene diviso in piccoli pezzi, ciascuno trasformato in un elenco di numeri con cui il modello può lavorare.
  • Prevedere il token successivo: dato tutto ciò che precede, quale token è probabile adesso. Concatenando queste ipotesi si ottengono interi paragrafi.
  • Il transformer e l'attenzione: questa architettura permette al modello di pesare quali parole precedenti contano di più per quella attuale, ed è così che tiene traccia del contesto.
  • Come l'addestramento regola i numeri: il modello tira a indovinare, viene confrontato con testi reali e i suoi parametri vengono ritoccati un poco. Ripetuto su scala enorme, questo lo addestra.
  • Dal modello grezzo all'assistente: dopo il primo addestramento si affina il modello con esempi e riscontri, perché segua le istruzioni e risponda con garbo.
  • Perché sbaglia, e cosa nessuno sa ancora: un modello produce testo probabile, non verità verificata, quindi può inventare dettagli. I ricercatori stanno ancora capendo cosa accade dentro queste reti, e distinguiamo ciò che è noto da ciò che è discusso.

Come ascoltare e fare domande

Su bre scrivi un argomento, o aggiungi i tuoi appunti, e bre fa tutto il lavoro e ne ricava un podcast fatto per te. Gli host sono voci AI e possono sbagliare: conviene trattare ogni episodio come un punto di partenza.

Mentre ascolti puoi premere Talk e fare una domanda, a voce o scrivendo. Un host risponde in base a ciò che l'episodio ha trattato, oppure dice che non l'ha trattato.

Domande frequenti

Un modello linguistico è solo un completamento automatico?
Si basa sulla stessa idea, prevedere cosa viene dopo, ma su scala molto più grande e con un'architettura che pesa molto contesto. Questa scala gli permette di scrivere testi lunghi e coerenti. Se ciò equivalga a comprendere è ancora oggetto di dibattito tra i ricercatori.
Da dove prende le sue conoscenze un modello linguistico?
Dall'addestramento su raccolte di testi molto grandi, come libri, siti web e codice. Non conserva una copia di quei documenti come una biblioteca: regola i propri numeri per catturare gli schemi, ed è per questo che può ricordare i fatti in modo imperfetto.
Perché i modelli linguistici si inventano le cose?
Sono addestrati a produrre testo plausibile, non a verificare i fatti. Quando lo schema porta a una risposta che suona giusta ma non lo è, il modello può comunque affermarla con sicurezza. Si parla spesso di allucinazione, ed è un limite noto.
Che cos'è un transformer in un modello linguistico?
È l'architettura di rete neurale alla base della maggior parte dei modelli linguistici moderni. La sua caratteristica chiave, l'attenzione, permette al modello di pesare quanto ogni parola precedente sia rilevante per prevedere la successiva, e questo aiuta con i testi lunghi e con il contesto.

Domande da ascoltare

Ogni episodio viene generato dall'AI al momento della richiesta, quindi può contenere errori o informazioni non aggiornate: controlla ciò che conta. Per curiosità e apprendimento, non è un consiglio medico, finanziario o legale.