Pubblicato 12 agosto 2026

Come funziona un modello linguistico di grandi dimensioni

Un modello linguistico di grandi dimensioni non contiene le risposte che dà. Contiene una funzione, di dimensioni enormi, che a partire da una sequenza di testo produce una distribuzione di probabilità sul pezzo di testo successivo. Tutto ciò che il sistema sa fare — riassumere, tradurre, scrivere codice, rispondere a una domanda — è un effetto collaterale di quella funzione applicata molte volte di seguito.

Questo articolo descrive il meccanismo senza formule. Non è una semplificazione nel senso di un’approssimazione comoda: è la descrizione dei passaggi che avvengono, nell’ordine in cui avvengono.

Il testo diventa numeri

Il primo passaggio taglia il testo in unità chiamate token. Un token non è una parola: è la sequenza di caratteri che un algoritmo di segmentazione, addestrato sul testo di partenza, ha giudicato conveniente trattare come unità. Le parole frequenti sono un token intero; quelle rare si spezzano in più pezzi; gli spazi appartengono di solito al token che segue.

La conseguenza pratica si vede nei conteggi. Un testo italiano di mille parole occupa in genere fra 1.300 e 1.700 token, e lo stesso testo tradotto in inglese ne occupa meno: la segmentazione è più efficiente sulla lingua che domina i dati di addestramento. Chi paga a token paga la lingua che parla.

Ogni token viene poi associato a un vettore di numeri, cioè a un punto in uno spazio a molte dimensioni. Questi vettori non sono assegnati a mano: sono parametri appresi, e alla fine dell’addestramento token con usi simili si ritrovano vicini.

L’attenzione

L’architettura che domina dal 2018 si chiama trasformatore e viene introdotta in un articolo del 2017[1]. La sua idea centrale è il meccanismo di attenzione.

In un modello che scorre il testo da sinistra a destra, l’informazione su ciò che è stato letto prima deve essere trasportata di passo in passo, e si degrada. L’attenzione fa un’altra cosa: per ogni posizione della sequenza calcola quanto ciascuna delle altre posizioni sia rilevante, e costruisce la rappresentazione di quella posizione come combinazione pesata di tutte le altre. Le relazioni fra elementi distanti si stabiliscono in un passaggio solo, e tutte le posizioni si calcolano in parallelo.

Il parallelismo è la ragione tecnica per cui questa architettura ha vinto. Un modello che si può addestrare in parallelo si può addestrare su molto più testo, a parità di tempo e di macchine.

Un trasformatore impila decine di strati di questo tipo, alternandoli a trasformazioni non lineari applicate a ciascuna posizione. Gli strati bassi tendono a codificare regolarità di superficie, quelli alti relazioni più astratte; la distinzione è una tendenza osservata, non una struttura progettata.

Due fasi di addestramento

Il modello viene costruito in due fasi, che rispondono a scopi diversi.

Il preaddestramento è l’unica fase in cui il modello vede una quantità di testo paragonabile a una frazione consistente di ciò che esiste in forma digitale. Il compito è sempre lo stesso: dato un pezzo di testo, prevedere il token successivo. Non servono etichette, perché il testo stesso fornisce la risposta corretta. Da questa fase il modello ricava la grammatica, le regolarità del discorso, le associazioni fra concetti e la maggior parte di ciò che poi sembrerà conoscenza del mondo.

La messa a punto è la fase in cui il modello viene orientato all’uso. Comprende l’addestramento su esempi di conversazione scritti o selezionati da persone e le tecniche che impiegano giudizi umani su coppie di risposte per spostare le preferenze del modello. È la fase che trasforma un continuatore di testo in un sistema che risponde a una richiesta, e insieme quella che introduce i comportamenti dichiarati dal fornitore: rifiuti, cautele, formati.

La distinzione conta anche per chi acquista. «Addestrato sui vostri dati» in un’offerta commerciale indica quasi sempre una messa a punto leggera su un modello preesistente, non un preaddestramento: sono due operazioni separate da tre o quattro ordini di grandezza di costo[4].

La generazione

A ogni passo il modello produce una distribuzione di probabilità su tutto il vocabolario. La scelta del token da emettere non è automatica: dipende da una procedura di campionamento con parametri regolabili.

Alzando la cosiddetta temperatura, la distribuzione si appiattisce e la scelta diventa più varia; abbassandola, il modello emette quasi sempre il token più probabile. Altri parametri limitano l’insieme dei candidati ai più probabili, per numero o per massa di probabilità cumulata.

Il token scelto viene aggiunto alla sequenza e il ciclo ricomincia. È qui che si vede la natura del sistema: non esiste un momento in cui il modello «decide che cosa dire» e poi lo scrive. La risposta si forma un token per volta, e ogni token condiziona quelli successivi.

Ne discende una proprietà controintuitiva: lo stesso modello, con la stessa domanda, può dare risposte diverse. Non è un difetto di implementazione; è il campionamento.

Perché sbaglia

L’allucinazione è l’esito che si presenta come informazione di fatto e non trova riscontro nella realtà né nelle fonti da cui il modello dovrebbe attingere[4]. Il nome viene dalla psicopatologia e descrive male il fenomeno: un modello che prevede la continuazione più probabile di un testo non percepisce nulla, e produce l’enunciato falso con lo stesso meccanismo con cui produce quelli veri.

Questo spiega perché il problema non si risolve con una correzione. Un sistema che assegna alta probabilità a una sequenza plausibile la emette, che corrisponda o no a un fatto: la plausibilità linguistica e la verità sono due proprietà diverse, e il modello ottimizza la prima.

Le contromisure riducono la frequenza senza cambiare la natura del meccanismo. Il recupero di documenti prima della generazione mette il testo rilevante nel contesto, e sposta il problema dalla memoria del modello alla qualità del recupero. I vincoli sul formato dell’uscita eliminano una classe di errori. La verifica automatica contro una fonte esterna intercetta le affermazioni controllabili. Nessuna delle tre trasforma il sistema in uno strumento che sa quando non sa.

Che cosa il modello non fa

Non consulta un archivio, a meno che non gli sia stato costruito intorno un sistema che lo fa e gli passa i risultati. Non ricorda le conversazioni precedenti, salvo che qualcuno gliele rimetta nel contesto. Non esegue calcoli, se non riproducendo passaggi visti nell’addestramento, e per questo i sistemi seri delegano l’aritmetica a uno strumento esterno.

Soprattutto: non ha un modello della propria affidabilità. La sicurezza espressa in una risposta è una proprietà del testo generato, non una misura interna di quanto quella risposta sia fondata.

Che cosa è cambiato dal 2022

La regolarità empirica che ha guidato il campo per un decennio dice che aumentando parametri, dati e calcolo le prestazioni migliorano in modo prevedibile. Dal 2022 in poi alla scala si sono affiancate due direzioni: la messa a punto orientata al ragionamento passo per passo, che spende più calcolo al momento della risposta invece che durante l’addestramento, e l’integrazione con strumenti esterni.

Sul piano economico la traiettoria è netta. L’edizione 2026 dell’AI Index stima che il costo dell’inferenza su modelli di una classe di riferimento sia sceso di circa 280 volte dalla fine del 2022[5]. È il numero che spiega perché questi sistemi siano passati dai laboratori ai prodotti di massa in tre anni.