La modalità di inferenza è il modo in cui un modello di IA viene fornito a utenti o applicazioni. In pratica, descrive se le richieste vengono gestite come output in streaming, in cui i token arrivano in modo incrementale, oppure come output non in streaming, in cui la risposta completa viene restituita in un'unica volta. Le piattaforme cloud possono anche usare il termine per distinguere l'uso online dall'elaborazione in stile batch.
Nella sicurezza informatica, la modalità di inferenza è importante perché cambia l'aspetto del traffico, il modo in cui si accumulano i costi e il modo in cui viene rilevato l'abuso. Le richieste in streaming possono creare connessioni di lunga durata che richiedono monitoraggio e limiti di velocità diversi rispetto a chiamate brevi e a raffica. L'uso non in streaming può essere più facile da registrare e verificare, ma improvvisi picchi possono comunque indicare automazione configurata in modo errato, abuso di credenziali o un ciclo dell'applicazione. Metadati chiari sulla modalità di inferenza aiutano i difensori a collegare spesa e attività ai carichi di lavoro approvati, a creare avvisi migliori e a indagare sull'uso sospetto senza affidarsi a un'analisi testuale fragile.