Glossario · Intelligenza artificiale
Inferenza
La fase in cui un modello già pronto genera una risposta a partire da una richiesta: è ciò che accade ogni volta che qualcuno usa un modello, distinto dall'addestramento che lo ha creato.
- In inglese
- inference
Significato di «inferenza»
«Inferenza» viene dalla logica: trarre una conclusione a partire da premesse. Applicata a un modello linguistico indica il momento in cui il sistema, con i suoi parametri già fissati, produce un'uscita — una risposta, una previsione, un testo — a partire da un input, senza modificare sé stesso nel farlo.
Cosa vuol dire «inferenza» in una notizia
Nel linguaggio delle notizie, inferenza è tutto ciò che succede dopo che un modello è stato costruito: è la fase in cui il modello «lavora», risponde alle domande, genera testo o codice. Si contrappone all'addestramento, che è la fase precedente in cui il modello viene costruito elaborando enormi quantità di dati. Sono due processi diversi, con costi diversi e infrastrutture spesso diverse, ed è proprio la loro somiglianza di superficie — coinvolgono entrambi grandi quantità di calcolo — a generare la confusione più comune.
Come funziona, spiegato semplice
Durante l'addestramento, i parametri interni del modello vengono aggiustati ripetutamente confrontando le sue previsioni con esempi noti, in un processo che può richiedere settimane e un numero enorme di calcoli su hardware dedicato. Al termine, quei parametri vengono fissati: il modello che ne risulta è un oggetto stabile, pronto per essere usato.
L'inferenza è l'uso di quell'oggetto stabile: ogni volta che una persona pone una domanda e riceve una risposta, il modello sta facendo inferenza. Non impara nulla di nuovo da quella conversazione — a meno che i suoi parametri non vengano poi aggiornati in un ciclo di addestramento successivo — si limita ad applicare ciò che ha già imparato.
La distinzione conta perché i costi si comportano in modo diverso: l'addestramento è un costo concentrato, sostenuto una volta prima che il modello sia pronto; l'inferenza è un costo che si ripete a ogni singola richiesta, moltiplicato per il numero di persone che usano il modello. Un modello che costa moltissimo da addestrare può comunque costare poco da interrogare, e viceversa.
Come si usa
Ricorre nelle notizie che parlano dell'infrastruttura o dei costi operativi di un modello già disponibile al pubblico, spesso accanto a termini come «gateway di inferenza» o «costo per token», per distinguere quella spesa corrente dalla spesa, spesso più grande e una tantum, sostenuta per costruire il modello.
L'errore più comune su «inferenza»
Confondere il costo dell'addestramento con il costo dell'inferenza, per esempio leggendo la cifra spesa per costruire un modello come se fosse il costo di ogni sua risposta. Sono due voci di spesa distinte: la prima si paga una volta, la seconda si paga a ogni utilizzo e si somma nel tempo.
Domande frequenti su «inferenza»
- Cosa vuol dire inferenza in un modello linguistico?
- È la fase in cui un modello già costruito genera una risposta a partire da una richiesta, usando i parametri fissati durante l'addestramento senza modificarli.
- Qual è la differenza fra inferenza e addestramento?
- L'addestramento è il processo, sostenuto una volta, in cui il modello impara aggiustando i propri parametri su grandi quantità di dati. L'inferenza è l'uso successivo di quel modello già pronto, ripetuto a ogni richiesta.
- Un modello impara qualcosa durante l'inferenza?
- No, non nel senso in cui impara durante l'addestramento: i suoi parametri restano fissi. Può tenere conto di ciò che è stato scritto nella stessa conversazione, ma questo non modifica il modello in sé.
- Perché si distingue il costo di addestramento da quello di inferenza?
- Perché si comportano diversamente: l'addestramento è una spesa concentrata sostenuta prima del lancio, l'inferenza è una spesa che si ripete a ogni utilizzo e cresce con il numero di persone che usano il modello.