Argomento2 min di lettura
Come funzionano i modelli linguistici di grandi dimensioni
Un modello linguistico di grandi dimensioni è un programma che ha imparato schemi da una quantità enorme di testi scritti e li usa per prevedere quale parola, o quale pezzo di parola, debba venire dopo. Ripetendo il procedimento tante volte nascono frasi, risposte, saggi e codice. Non c'è un elenco di risposte già pronte: c'è un insieme grandissimo di numeri, i parametri, regolati durante l'addestramento.
La risposta in breve
Un modello linguistico è un programma che ha imparato schemi da moltissimi testi e li usa per indovinare la parola successiva, o un pezzo di parola. Se lo fa di continuo, ottiene frasi, risposte, saggi e codice.
Non esiste un archivio di risposte memorizzate. Esiste un insieme molto vasto di numeri, chiamati parametri, che durante l'addestramento sono stati regolati finché il modello non è diventato bravo a indovinare.
Cosa sappiamo e cosa è ancora discusso
La cosa interessante è quanto lontano possa arrivare un obiettivo così semplice. Per prevedere bene la parola successiva sembra necessario assimilare per strada grammatica, nozioni, stile e qualche abitudine di ragionamento.
I ricercatori però discutono ancora su quanto un modello comprenda davvero e su come arrivi a certe risposte: è una domanda aperta, e fa parte della storia. Spiega anche gli errori più strani: un modello può sembrare sicuro di sé e sbagliare lo stesso.
Cosa copre un episodio su bre
Un episodio ripercorrerebbe i vari passaggi in ordine:
- Le parole diventano token: il testo viene diviso in piccoli pezzi, ciascuno trasformato in un elenco di numeri con cui il modello può lavorare.
- Prevedere il token successivo: dato tutto ciò che precede, quale token è probabile adesso. Concatenando queste ipotesi si ottengono interi paragrafi.
- Il transformer e l'attenzione: questa architettura permette al modello di pesare quali parole precedenti contano di più per quella attuale, ed è così che tiene traccia del contesto.
- Come l'addestramento regola i numeri: il modello tira a indovinare, viene confrontato con testi reali e i suoi parametri vengono ritoccati un poco. Ripetuto su scala enorme, questo lo addestra.
- Dal modello grezzo all'assistente: dopo il primo addestramento si affina il modello con esempi e riscontri, perché segua le istruzioni e risponda con garbo.
- Perché sbaglia, e cosa nessuno sa ancora: un modello produce testo probabile, non verità verificata, quindi può inventare dettagli. I ricercatori stanno ancora capendo cosa accade dentro queste reti, e distinguiamo ciò che è noto da ciò che è discusso.
Come ascoltare e fare domande
Su bre scrivi un argomento, o aggiungi i tuoi appunti, e bre fa tutto il lavoro e ne ricava un podcast fatto per te. Gli host sono voci AI e possono sbagliare: conviene trattare ogni episodio come un punto di partenza.
Mentre ascolti puoi premere Talk e fare una domanda, a voce o scrivendo. Un host risponde in base a ciò che l'episodio ha trattato, oppure dice che non l'ha trattato.
Domande frequenti
- Un modello linguistico è solo un completamento automatico?
- Si basa sulla stessa idea, prevedere cosa viene dopo, ma su scala molto più grande e con un'architettura che pesa molto contesto. Questa scala gli permette di scrivere testi lunghi e coerenti. Se ciò equivalga a comprendere è ancora oggetto di dibattito tra i ricercatori.
- Da dove prende le sue conoscenze un modello linguistico?
- Dall'addestramento su raccolte di testi molto grandi, come libri, siti web e codice. Non conserva una copia di quei documenti come una biblioteca: regola i propri numeri per catturare gli schemi, ed è per questo che può ricordare i fatti in modo imperfetto.
- Perché i modelli linguistici si inventano le cose?
- Sono addestrati a produrre testo plausibile, non a verificare i fatti. Quando lo schema porta a una risposta che suona giusta ma non lo è, il modello può comunque affermarla con sicurezza. Si parla spesso di allucinazione, ed è un limite noto.
- Che cos'è un transformer in un modello linguistico?
- È l'architettura di rete neurale alla base della maggior parte dei modelli linguistici moderni. La sua caratteristica chiave, l'attenzione, permette al modello di pesare quanto ogni parola precedente sia rilevante per prevedere la successiva, e questo aiuta con i testi lunghi e con il contesto.
Domande da ascoltare
- Quanto è grande l'universoL'universo osservabile misura circa 93 miliardi di anni luce, ma l'universo intero potrebbe essere molto più grande o infinito. Ecco cosa sappiamo e cosa no.
- Come ci possono ingannare le statistiche?Una statistica può ingannare senza un solo numero falso: medie, campioni, percentuali e grafici. Ecco come succede e quali domande farsi.
- Come è nato il jazzIl jazz nasce a New Orleans nei primi anni del Novecento da blues, ragtime, bande di ottoni e tradizioni africane. Ecco la storia e dove resta incerta.
- Come è iniziata la vita sulla TerraNessuno sa con certezza come è nata la vita sulla Terra. Cosa si sa, cosa è ancora discusso e come un episodio di bre può raccontarlo.
- Come si è sviluppato l'alfabetoDai geroglifici egizi ai Semiti, poi fenici, greci e latini: come nasce l'alfabeto e dove le prove restano incerte. Ascolta un episodio di bre.
- Come ha cambiato l'Europa la peste neraLa peste nera uccise una larga parte degli europei negli anni 1340. Ecco come cambiò lavoro, salari, Chiesa e vita quotidiana e su cosa gli storici discutono.
Ogni episodio viene generato dall'AI al momento della richiesta, quindi può contenere errori o informazioni non aggiornate: controlla ciò che conta. Per curiosità e apprendimento, non è un consiglio medico, finanziario o legale.