Glossario · Intelligenza artificiale
Latenza
Il tempo che intercorre fra l'invio di una richiesta a un modello e l'inizio, o il completamento, della sua risposta: distinta dal throughput, misura la velocità percepita da chi aspetta.
- In inglese
- latency
- Si dice anche
- tempo di risposta
Significato di «latenza»
«Latenza» viene dal latino latere, restare nascosto: in fisica e in informatica indica un ritardo, un intervallo di tempo che intercorre fra una causa e il suo effetto visibile. Applicata a un modello linguistico, è il tempo che passa fra l'invio di una richiesta e la comparsa di una risposta.
Cosa vuol dire «latenza» in una notizia
Nel linguaggio delle notizie sull'infrastruttura dei modelli, la latenza è ciò che una persona percepisce come attesa: quanti secondi passano prima che una risposta cominci ad apparire, o si concluda del tutto. Si distingue dal throughput, che misura invece quante richieste — o quanti token — un sistema riesce a elaborare complessivamente in un dato tempo: un sistema può avere un throughput alto e una latenza comunque percepibile per la singola richiesta, perché sono due cose diverse.
Come funziona, spiegato semplice
Il throughput guarda al sistema nel suo insieme: quanti utenti, quante richieste, quanti token al secondo un'infrastruttura riesce a servire tutti insieme. La latenza guarda invece a una singola richiesta, dal punto di vista di chi aspetta la risposta: anche un sistema capace di servire moltissime richieste in parallelo può far attendere ciascuna persona diversi secondi prima che la sua risposta specifica cominci.
La distinzione conta perché ottimizzare l'una può peggiorare l'altra: un fornitore può aumentare il throughput complessivo raggruppando più richieste insieme prima di elaborarle, ma questo raggruppamento fa aspettare più a lungo la singola richiesta, alzando la latenza percepita da chi la ha inviata.
Una latenza bassa è ciò che rende possibili applicazioni in cui il tempo di attesa è parte dell'esperienza stessa — una conversazione vocale, un assistente che corregge il testo mentre si scrive, un sistema che deve reagire in tempo reale a un evento. Un modello che risponde in modo accurato ma lento resta inadatto a questi usi, anche se il suo throughput complessivo è alto, perché ciò che conta in quei casi è quanto aspetta la singola persona, non quante richieste il sistema gestisce in totale.
Come si usa
Ricorre nelle notizie che confrontano modelli o infrastrutture sul piano della velocità, spesso accanto a «throughput» come suo contrario logico, e nelle notizie che discutono quali applicazioni — vocali, in tempo reale, interattive — un certo modello può o non può supportare.
L'errore più comune su «latenza»
Confondere latenza bassa con throughput alto, o viceversa. Un sistema può rispondere molto rapidamente a poche richieste alla volta e quindi avere bassa latenza, ma saturarsi non appena il numero di richieste simultanee cresce, mostrando un throughput limitato: le due misure non si implicano a vicenda.
Domande frequenti su «latenza»
- Cosa vuol dire latenza in un modello linguistico?
- È il tempo che passa fra l'invio di una richiesta a un modello e l'inizio o il completamento della sua risposta: misura la velocità percepita da chi aspetta quella singola risposta.
- Qual è la differenza fra latenza e throughput?
- La latenza misura il tempo di attesa di una singola richiesta. Il throughput misura quante richieste, o quanti token, un sistema riesce a elaborare complessivamente in un dato periodo di tempo: un sistema può eccellere nell'una e non nell'altra.
- Perché la latenza determina quali applicazioni sono possibili?
- Perché alcuni usi — una conversazione vocale, un'interazione in tempo reale — richiedono una risposta quasi immediata per funzionare: un modello accurato ma lento resta inadatto a questi casi, indipendentemente da quante richieste il sistema riesce a gestire in totale.