Il token throughput è la velocità con cui un sistema di IA genera o elabora token in condizioni di carico reale. Un token è un'unità di testo che il modello legge o produce, quindi il throughput misura la velocità di output pratica, non solo le prestazioni nei benchmark. Dipende dalla capacità della GPU, dalle dimensioni del modello, dal batching, dalla larghezza di banda della memoria, dalla latenza di rete, dalla velocità di archiviazione e dall'overhead di orchestrazione.
Nella sicurezza informatica, il token throughput è importante perché servizi di IA lenti o instabili possono creare colli di bottiglia, aumentare i costi ed esporre punti deboli in infrastrutture condivise. Gli aggressori possono tentare di esaurire il throughput con prompt flooding, denial-of-service dell'inferenza o contesa delle risorse che rallenta gli utenti legittimi. I difensori monitorano il throughput per rilevare abusi, dimensionare la capacità, impostare limiti di velocità, isolare i carichi di lavoro e mantenere reattivi i modelli sensibili. Nelle AI factory e in altri deployment concentrati, mantenere un token throughput prevedibile fa parte sia della resilienza sia della sicurezza operativa.