Glossario · Intelligenza artificiale
Punteggio Elo
Un numero che misura la forza relativa di un modello rispetto ad altri, calcolato da un grande numero di confronti diretti a coppie: dice chi vince più spesso, non un valore assoluto.
- In inglese
- Elo rating
- Si dice anche
- rating Elo, Elo
Significato di «punteggio elo»
Il nome viene da Arpad Elo, il fisico che ideò questo sistema negli anni sessanta per classificare i giocatori di scacchi in base ai risultati delle loro partite, sostituendo classifiche più arbitrarie con un calcolo basato interamente sugli scontri diretti fra due avversari alla volta.
Cosa vuol dire «punteggio elo» in una notizia
Applicato ai modelli linguistici, il punteggio Elo nasce da confronti a coppie: due modelli rispondono alla stessa richiesta, e chi valuta — una persona, o un altro sistema — indica quale risposta preferisce, senza sapere quale modello l'ha generata. Ripetuto su un numero grande di confronti, questo processo produce una classifica in cui un punteggio più alto significa che quel modello ha vinto più spesso dei confronti in cui è comparso.
Come funziona, spiegato semplice
Il punteggio di un singolo modello non ha significato preso da solo: esiste soltanto in relazione ai punteggi degli altri modelli inseriti nella stessa classifica, calcolati con lo stesso metodo e sullo stesso insieme di confronti. È una scala relativa, non una misura assoluta di qualità: dice come un modello si comporta contro altri modelli specifici, non quanto sia bravo in astratto.
Per questo la stessa distanza in punti non ha lo stesso peso in classifiche diverse. Quaranta punti di differenza in una classifica con molti confronti e molti modelli vicini fra loro possono riflettere una differenza reale e stabile; la stessa distanza in un'altra classifica, con meno dati o un insieme diverso di partecipanti, può rientrare nel margine di incertezza della misura e non indicare una differenza affidabile.
Il punteggio dipende anche da chi valuta i confronti e da quali richieste vengono usate per generarli: una classifica costruita su conversazioni informali misura qualcosa di diverso da una costruita su compiti tecnici, e i due punteggi non sono direttamente comparabili anche quando usano la stessa scala numerica.
Come si usa
Compare nelle notizie che riportano classifiche di modelli basate su preferenze o voti comparativi, quasi sempre come numero accanto al nome del modello, e nei confronti fra più modelli che occupano posizioni vicine in una stessa classifica.
L'errore più comune su «punteggio elo»
Confrontare il punteggio Elo di un modello ottenuto in una classifica con il punteggio di un altro modello ottenuto in una classifica diversa, come se fossero misurati sulla stessa scala. Il numero ha senso solo all'interno della classifica in cui è stato calcolato: fuori da quel contesto specifico, la cifra da sola non dice quasi nulla.
Domande frequenti su «punteggio elo»
- Cosa vuol dire punteggio Elo per un modello linguistico?
- È un numero che misura la forza relativa di un modello rispetto ad altri, calcolato da un grande numero di confronti diretti a coppie in cui chi valuta preferisce una risposta senza sapere quale modello l'ha generata.
- Da dove viene il termine Elo?
- Dal cognome di Arpad Elo, il fisico che ideò il sistema negli anni sessanta per classificare i giocatori di scacchi in base ai risultati delle loro partite dirette.
- Perché quaranta punti di differenza non hanno sempre lo stesso significato?
- Perché il punteggio Elo è una scala relativa, valida solo all'interno di una classifica specifica: la stessa distanza in punti può essere una differenza affidabile in una classifica con molti dati, e rientrare nel margine di incertezza in un'altra.
- Si possono confrontare punteggi Elo presi da classifiche diverse?
- Non in modo diretto: dipendono da chi valuta i confronti, da quali richieste vengono usate e da quali altri modelli sono inclusi nella stessa classifica, quindi lo stesso numero calcolato altrove non misura necessariamente la stessa cosa.