Il batching è la pratica di raggruppare più richieste di inferenza in un'unica esecuzione GPU invece di elaborare ogni richiesta una alla volta. Condividendo la stessa esecuzione del modello tra molti input, un sistema AI può aumentare il throughput, migliorare l'utilizzo della GPU e ridurre il costo per richiesta. Il compromesso è solitamente una latenza più elevata per le singole richieste, poiché il sistema attende brevemente per assemblare un batch.
Nel cyber security, il batching è importante perché molte difese si basano su servizi AI per classificazione, estrazione, riepilogo e smistamento degli alert. Un rilevatore che esegue il batching delle scansioni dei file o dell'analisi degli eventi può gestire più traffico con la stessa dotazione hardware. Anche gli aggressori traggono vantaggio dal batching quando abusano delle API AI su larga scala, inviando molti prompt o query insieme per ridurre l'overhead e aumentare il volume. I team di sicurezza monitorano quindi sia le prestazioni sia i modelli di abuso: un buon batching migliora l'efficienza, ma un batching mal controllato può nascondere carichi a raffica, aumentare i tempi di coda o esporre un servizio di inferenza all'esaurimento delle risorse.