Un cache hit si verifica quando un sistema può rispondere a una richiesta usando dati o contesto che ha già memorizzato, invece di ricalcolare tutto da zero. Nelle API di IA, ciò significa spesso che un prompt con un prefisso stabile può riutilizzare contesto precedentemente elaborato, riducendo latenza, uso di risorse di calcolo e costi.
Gli cache hit sono importanti nella sicurezza informatica perché influenzano sia le prestazioni sia la spesa. I difensori monitorano i rapporti di cache hit per capire l'efficienza dei carichi di lavoro, individuare cicli di retry abusivi e controllare l'automazione agentica che potrebbe attivare ripetutamente costosi cache miss. Negli ambienti cloud e di IA, un attacco non deve sempre violare l'accesso per causare danni; può semplicemente indurre ricalcoli inutili e aumentare i costi operativi. Una buona progettazione dei prompt, la normalizzazione delle richieste e i limiti di frequenza aiutano tutti ad aumentare i cache hit legittimi, limitando al contempo il traffico dispersivo.