Un cache miss si verifica quando un sistema non riesce a trovare nella cache un risultato, un contesto o un elemento di dati riutilizzabile e deve ricalcolare la risposta a partire dall'input originale. Nelle API di IA, questo spesso significa che il modello deve elaborare di nuovo l'intero prompt e la conversazione invece di riutilizzare un prefisso memorizzato o uno stato precedente. Questo costa più tempo e denaro rispetto a un cache hit e aumenta il carico sul servizio.
Nella sicurezza informatica, i cache miss sono importanti perché possono essere forzati o amplificati. Gli aggressori possono variare i prompt, inserire token in continuo cambiamento o innescare cicli dell'agente in modo che le richieste mancino ripetutamente la cache, facendo aumentare i costi e creando condizioni di denial-of-wallet. I difensori monitorano i rapporti tra cache hit e cache miss, normalizzano le richieste ripetute, limitano i retry e separano i job batch stabili dai flussi di lavoro altamente dinamici. Una buona progettazione della cache riduce i costi, limita i calcoli inutili e rende i sistemi di IA su larga scala più resilienti.