Cosa vuol dire benchmark per un modello linguistico?

È una prova standardizzata, con domande fisse e risposte verificabili, usata per misurare e confrontare le prestazioni di modelli diversi sullo stesso compito.

Un punteggio benchmark pubblicato da chi vende il modello è una misurazione indipendente?

No. Anche se la prova è stata sviluppata da un soggetto terzo, un punteggio calcolato e diffuso dalla stessa azienda che vende il modello resta un dato riportato da chi ha interesse a mostrarlo nel modo più favorevole.

Quando un punteggio benchmark è davvero indipendente?

Quando a eseguire la prova e a comunicarne il risultato è un soggetto che non vende il modello e non ha interesse nell'esito, non semplicemente quando la prova stessa è stata progettata da terzi.

Perché conta chi esegue il benchmark e non solo chi lo ha progettato?

Perché eseguire il test, scegliere quale versione del modello sottoporgli e decidere come presentare il risultato sono passaggi in cui chi ha interesse nel numero può influenzare l'esito, anche partendo da domande scritte da altri.

Glossario · Intelligenza artificiale

Benchmark

Una prova standardizzata usata per misurare e confrontare le prestazioni di modelli diversi sullo stesso compito, con un punteggio che dice poco senza sapere chi lo ha misurato.

In inglese: benchmark
Si dice anche: prova standardizzata, test di riferimento

Significato di «benchmark»

«Benchmark» in inglese indica originariamente un punto di riferimento fisso, un segno inciso su un banco da cui prendere misure comparabili nel tempo. Nel linguaggio tecnico è diventato il nome di una prova standardizzata: un insieme fisso di compiti o domande su cui più sistemi vengono valutati con lo stesso metro, in modo che i risultati siano confrontabili fra loro.

Cosa vuol dire «benchmark» in una notizia

Nelle notizie sui modelli linguistici, un benchmark è il test — spesso composto da migliaia di domande o problemi con una risposta corretta nota — su cui un modello ottiene un punteggio, citato come prova delle sue capacità in un'area specifica: matematica, scrittura di codice, ragionamento. Il punteggio da solo dice poco: conta anche chi ha eseguito la prova e come.

Come funziona, spiegato semplice

Un benchmark esiste per rendere confrontabili modelli diversi su uno stesso compito, evitando che il confronto si basi su impressioni soggettive. Per funzionare, deve avere domande fisse e una risposta verificabile, così che il punteggio non dipenda da chi giudica ma sia riproducibile da chiunque esegua la stessa prova.

Il fatto che una prova sia stata sviluppata da un soggetto terzo, indipendente dalle aziende che costruiscono i modelli, non basta a rendere indipendente ogni punteggio pubblicato su quella prova: conta chi ha eseguito effettivamente il test e diffuso il risultato. Un punteggio calcolato e reso pubblico dalla stessa azienda che vende il modello resta un dato riportato da chi ha interesse a mostrarlo nel modo più favorevole, anche quando il benchmark in sé è stato progettato da altri e ha un metodo pubblico.

Una misurazione indipendente è quella eseguita, con lo stesso metodo, da un soggetto che non vende il modello e non ha interesse nel suo risultato — un laboratorio di ricerca, una piattaforma di valutazione esterna. Solo in quel caso il punteggio dice qualcosa che non dipende dalla parola di chi ha costruito il modello.

Come si usa

Compare nelle notizie sul lancio di un nuovo modello, quasi sempre come cifra — «ottiene X punti sul benchmark Y» — spesso citata direttamente dal comunicato del fornitore, e nelle notizie che confrontano più modelli fra loro su una stessa prova.

L'errore più comune su «benchmark»

Attenzione

Trattare un punteggio benchmark pubblicato da chi vende il modello come una misurazione indipendente, per il solo fatto che la prova è stata sviluppata da un soggetto terzo. Non lo è: chi esegue il test e comunica il risultato ha un interesse diretto in quel numero, indipendentemente da chi ha scritto le domande della prova. Una misurazione è indipendente quando a eseguirla è un soggetto senza interesse nel risultato, non quando lo è soltanto l'autore del test.

Domande frequenti su «benchmark»

Cosa vuol dire benchmark per un modello linguistico?: È una prova standardizzata, con domande fisse e risposte verificabili, usata per misurare e confrontare le prestazioni di modelli diversi sullo stesso compito.
Un punteggio benchmark pubblicato da chi vende il modello è una misurazione indipendente?: No. Anche se la prova è stata sviluppata da un soggetto terzo, un punteggio calcolato e diffuso dalla stessa azienda che vende il modello resta un dato riportato da chi ha interesse a mostrarlo nel modo più favorevole.
Quando un punteggio benchmark è davvero indipendente?: Quando a eseguire la prova e a comunicarne il risultato è un soggetto che non vende il modello e non ha interesse nell'esito, non semplicemente quando la prova stessa è stata progettata da terzi.
Perché conta chi esegue il benchmark e non solo chi lo ha progettato?: Perché eseguire il test, scegliere quale versione del modello sottoporgli e decidere come presentare il risultato sono passaggi in cui chi ha interesse nel numero può influenzare l'esito, anche partendo da domande scritte da altri.