Il caching semantico è una tecnica che riutilizza una risposta AI precedente quando una nuova richiesta è abbastanza vicina, per significato, a una precedente. Invece di eseguire un'inferenza completa per ogni prompt, il sistema confronta il nuovo input con le query memorizzate nella cache e restituisce una risposta salvata quando la corrispondenza è sufficientemente simile. Questo riduce la latenza, la spesa cloud e il carico di calcolo, soprattutto in chatbot, assistenti di ricerca e pipeline di retrieval.
Nella sicurezza informatica, il caching semantico è importante perché può ridurre il costo degli strumenti AI difensivi come i copiloti SOC, gli assistenti di triage e i bot di knowledge interni. Introduce anche rischi: se i confini della cache sono deboli, un tenant può ricevere i contenuti di un altro tenant, i prompt sensibili possono essere esposti oppure una risposta memorizzata e compromessa può essere riprodotta per molti utenti. Gli attaccanti possono cercare di aggirare le soglie di similarità con variazioni del prompt, mentre i difensori limitano questo rischio usando controlli di accesso rigorosi, scadenza della cache, normalizzazione dell'input e monitoraggio di pattern insoliti di riuso.