Pubblicato 2 settembre 2026

Benchmark e valutazione dei modelli: che cosa misurano e che cosa no

Un benchmark è un insieme di prova con una procedura di valutazione fissata. Produce un numero, e quel numero dice qualcosa di preciso: quanto bene un sistema ha risolto quei casi con quella metrica. Dice anche molto meno di quanto la comunicazione commerciale gli faccia dire.

Questo articolo descrive che cosa un punteggio misura, perché due punteggi possono non essere confrontabili e quali proprietà i benchmark non catturano affatto.

Che cos’è un punteggio

Ogni benchmark ha tre componenti: un insieme di casi, una risposta considerata corretta per ciascuno, una metrica che confronta la risposta prodotta con quella attesa. Cambiando uno qualsiasi dei tre, il numero cambia.

La metrica più citata è l’accuratezza: il grado di corrispondenza fra ciò che il sistema produce e ciò che sarebbe corretto produrre, calcolato su un insieme di casi e rispetto a un riferimento assunto come vero[2]. È una fra le misure delle prestazioni, non il loro insieme, e il valore che assume dipende dai casi su cui è calcolata: mutata la distribuzione dei dati, muta.

Su classi sbilanciate un’accuratezza alta convive con l’incapacità di riconoscere la classe rara. Un sistema che in un insieme dove il 99% dei casi appartiene a una classe risponde sempre con quella classe raggiunge il 99% di accuratezza e non serve a nulla. È la ragione per cui i lavori seri riportano più metriche insieme.

Perché due numeri non si confrontano

Il confronto fra due punteggi è valido solo se tutto il resto coincide, e quasi mai coincide.

L’insieme di prova. Versioni diverse dello stesso benchmark contengono casi diversi. Un risultato su una versione non si confronta con un risultato su un’altra.

Il protocollo. Quanti esempi vengono mostrati al modello prima della domanda; se il modello può ragionare passo per passo prima di rispondere; quante volte può tentare; se le risposte vengono valutate da un programma o da un altro modello. Ciascuna di queste scelte sposta il numero di parecchi punti.

La contaminazione. Se i casi del benchmark erano nel testo di addestramento, il sistema non li risolve: li ricorda. Su insiemi di prova pubblici e vecchi di qualche anno la contaminazione è la regola, non l’eccezione, e non c’è modo di escluderla senza accesso ai dati di addestramento.

Da qui una regola pratica: un punteggio senza l’indicazione dell’insieme, della versione, del protocollo e della data non è un dato, è un’affermazione.

La saturazione

I benchmark hanno un ciclo di vita. Nascono difficili, il campo li insegue, i punteggi salgono, e a un certo punto arrivano vicini al massimo. Da quel momento il benchmark smette di distinguere: tutti i sistemi competitivi ottengono punteggi indistinguibili, e le differenze residue misurano il rumore.

Il fenomeno è documentato dall’AI Index, che segue da anni le curve dei principali insiemi di prova e la sequenza con cui vengono sostituiti da altri più difficili[1]. La risposta della comunità è costruire benchmark nuovi; l’effetto collaterale è che le serie storiche si interrompono, e i confronti pluriennali diventano impossibili.

C’è poi un effetto meno visibile. Quando un benchmark diventa il criterio pubblico di successo, ottimizzare su quel benchmark diventa razionale, e il punteggio smette di essere una misura indipendente di ciò che voleva misurare.

Che cosa i benchmark non misurano

L’affidabilità in coda. Un sistema che risolve il 95% dei casi può fallire in modo catastrofico sul restante 5%, e i benchmark non distinguono un errore innocuo da uno costoso.

La calibrazione. Nessun benchmark diffuso misura se la sicurezza espressa da un sistema corrisponda alla sua probabilità di avere ragione. È la proprietà che più conta quando un sistema entra in un processo decisionale.

Il costo. Due sistemi con lo stesso punteggio possono differire di due ordini di grandezza in tempo di risposta e in consumo. Il confronto a parità di punteggio nasconde il confronto a parità di risorse.

Il comportamento nel tempo. Un modello aggiornato dal fornitore non è lo stesso sistema che è stato valutato. Senza versioni fissate, un punteggio invecchia in silenzio.

Che cosa chiede la norma

Il regolamento europeo affronta la questione dal lato della dichiarazione, non della metrica. Per i sistemi ad alto rischio chiede che sia conseguito un livello adeguato di accuratezza, robustezza e cibersicurezza, e che i livelli e le metriche pertinenti siano dichiarati nelle istruzioni per l’uso, insieme alle circostanze note che possono alterarli. Non definisce l’accuratezza e non prescrive una metrica: rimanda a un lavoro futuro di parametri di riferimento e metodologie[4].

La conseguenza pratica per chi scrive un capitolato è precisa. Fissare una soglia senza indicare l’insieme di prova, la metrica e la distribuzione dei casi significa accettare collaudi non comparabili fra loro[2]. Una clausola utile indica tutti e tre, e aggiunge chi esegue la prova.

Come leggere un annuncio

Cinque domande bastano a distinguere un risultato da una dichiarazione.

1. Su quale insieme e quale versione? Senza il nome esatto, il numero non è verificabile.
2. Con quale protocollo? Numero di tentativi, esempi mostrati, valutatore.
3. Confrontato con che cosa, misurato quando? Un confronto con un sistema di due anni prima è un confronto con il passato.
4. Con quale variabilità? Un punteggio senza intervallo non dice se la differenza sia significativa.
5. A quale costo? Tempo di risposta e risorse impiegate per ottenere quel numero.

Gli archivi che collegano articoli, implementazioni e risultati sugli insiemi pubblici permettono di rispondere alle prime tre in pochi minuti[3]. È il controllo minimo prima di riportare un numero.

Una nota sul lessico

In italiano «precisione» viene adoperata per due cose diverse: come sinonimo generico di accuratezza e come traduzione della metrica che in inglese si chiama precision, che è un’altra cosa — la quota di risposte positive che sono effettivamente corrette[2]. In un documento tecnico la confusione fra le due produce requisiti impossibili da collaudare. Conviene scrivere quale delle due si intende, ogni volta.

Le famiglie di benchmark

Non tutti misurano la stessa cosa, e conoscere le famiglie aiuta a capire che cosa un punteggio implichi.

Conoscenza e ragionamento su domande chiuse. Insiemi di domande a scelta multipla su molte materie. Sono facili da valutare automaticamente, e per questo dominanti; misurano il recupero di informazione più della capacità di ragionare, e sono i più esposti alla contaminazione.

Compiti con verifica automatica. Problemi di matematica con risposta numerica, esercizi di programmazione con test che passano o falliscono. Sono i più informativi, perché il criterio di correttezza non dipende da un giudizio, e i più difficili da contaminare se i casi sono nuovi.

Compiti aperti valutati da un giudice. Riassunti, traduzioni, risposte a domande complesse, valutati da persone o da un altro modello. Misurano ciò che conta nell’uso reale e portano con sé il problema del giudice: un modello che valuta modelli ha preferenze proprie, fra cui quella per le risposte lunghe.

Compiti agentici. Sequenze di operazioni in un ambiente simulato, con un obiettivo da raggiungere. Misurano la proprietà più rilevante per i sistemi attuali e sono i più costosi da eseguire e i più variabili fra ripetizioni.

Costruire un insieme di prova proprio

È l’operazione che fa la differenza fra una valutazione e una citazione, e richiede meno lavoro di quanto sembri.

Servono da cinquanta a duecento casi presi dal proprio dominio, con la risposta attesa scritta da chi conosce il dominio. Vanno tenuti riservati, perché un insieme pubblicato è un insieme contaminato entro pochi mesi. Va definito in anticipo il criterio di correttezza, perché deciderlo osservando le risposte introduce un pregiudizio sistematico.

Con un insieme così si risponde alla sola domanda che conta per chi deve scegliere: quale sistema funziona meglio sul mio caso. I benchmark pubblici rispondono a una domanda diversa, utile alla ricerca e poco utile alla decisione.

Il rapporto fra punteggio e utilità

Un guadagno di pochi punti su un benchmark pubblico può corrispondere a nessuna differenza percepibile nell’uso, oppure a una differenza grande. Dipende da dove si trovi la soglia di utilità del compito.

Su compiti in cui una risposta parzialmente corretta è già utile — un riassunto, una bozza — il miglioramento si distribuisce e si percepisce poco. Su compiti in cui la risposta è corretta o inutile — un calcolo, una query, un’estrazione di campi — il passaggio da una percentuale di successo all’altra cambia il numero di casi che richiedono intervento umano, e quello è il costo reale.

Ne discende una regola pratica: il numero da chiedere a un fornitore non è il punteggio, ma la quota di casi che richiederanno una correzione. È la stessa informazione, espressa nell’unità in cui la si pagherà.