Una KV cache è l'insieme memorizzato dei dati di attenzione "key" e "value" che un modello transformer conserva durante l'inferenza, così da non dover ricalcolare i token precedenti a ogni nuovo passo. Riutilizzando questo stato, il modello può rispondere più velocemente e con meno lavoro della GPU, soprattutto durante conversazioni lunghe o richieste con contesto esteso.
Nella sicurezza informatica, il comportamento della KV cache è importante perché influisce su costi, latenza e disponibilità dei servizi di IA. Gli aggressori possono cercare di esaurire la memoria inviando prompt molto lunghi, forzando la crescita della cache o provocando cache miss ripetuti che attivano costosi ricalcoli. I difensori monitorano il tasso di hit della cache, il margine di VRAM e il throughput dei token per individuare abusi e proteggere la qualità del servizio. Una gestione efficiente della KV cache è anche una difesa fondamentale per l'hosting di modelli di grandi dimensioni, dove i colli di bottiglia dell'inferenza possono diventare bersagli di attacchi denial-of-service.