Il tasso di hit della cache è la percentuale di richieste servite dalla cache invece di essere ricalcolate o recuperate dal sistema di origine. Nei sistemi di IA e API, un tasso di hit elevato significa che prompt, risposte o frammenti di dati ripetuti possono essere riutilizzati, riducendo la latenza e la spesa di calcolo. Un tasso di hit basso significa che più richieste mancano la cache, costringendo il sistema a svolgere ogni volta il lavoro completo.
Nella sicurezza informatica, il tasso di hit della cache è importante perché influisce sia sui costi sia sulla resilienza. Gli aggressori possono abbassarlo con input che aggirano la cache, parametri unici o richieste che cambiano rapidamente, aumentando il carico del backend e facendo salire le spese infrastrutturali. I difensori usano la cache per assorbire il traffico ripetitivo, velocizzare l'accesso legittimo e individuare schemi anomali quando i tassi di hit calano improvvisamente. Il monitoraggio di questa metrica aiuta gli operatori a rilevare abusi, ottimizzare le prestazioni e controllare il costo effettivo della distribuzione di carichi di lavoro ad alto volume.