L’input memorizzato nella cache è un testo che un’API di IA ha già elaborato e conserva temporaneamente o rende comunque riutilizzabile. Quando una richiesta successiva include lo stesso testo, il servizio può elaborarlo come input memorizzato nella cache a un prezzo inferiore o con tempi di elaborazione ridotti. Le regole precise, il periodo di conservazione e il risparmio dipendono dal fornitore dell’API.
Nei flussi di lavoro di sicurezza informatica, istruzioni ripetute, materiale di riferimento o contesto condiviso possono essere idonei alla memorizzazione nella cache, contribuendo a ridurre il costo di attività come l’analisi degli avvisi o la revisione del codice. La memorizzazione nella cache non rende il contenuto intrinsecamente sicuro: prompt o dati sensibili potrebbero essere trattati in base alle politiche del fornitore in materia di memorizzazione nella cache e conservazione. I difensori dovrebbero verificare tali politiche, evitare di inviare segreti senza necessità e assicurarsi che il contesto memorizzato nella cache non possa esporre informazioni tra utenti o attività.