La memoria LLM è una funzionalità del prodotto che memorizza contesto utile dalle interazioni precedenti, così che un assistente possa comportarsi in modo più coerente nel tempo. A seconda della progettazione, può ricordare preferenze, riepiloghi, dettagli delle attività o altri stati specifici dell'utente tra sessioni, invece di trattare ogni chat come isolata.
Nella sicurezza informatica, la memoria conta perché può estendere l'impatto di input non attendibili. Se un modello è esposto a testo iniettato nei prompt, preferenze avvelenate o riepiloghi fuorvianti possono persistere e influenzare risposte, raccomandazioni o azioni automatizzate successive. Questo rende la memoria un potenziale livello di persistenza, non solo una funzionalità di comodità.
I difensori dovrebbero trattare la memoria come dati controllati. Mantenere separati l'intento dell'utente, il contenuto recuperato e le istruzioni di sistema; limitare ciò che può essere scritto nella memoria; e offrire opzioni di revisione, eliminazione e disattivazione. Negli ambienti a rischio più elevato, le modalità non persistenti o le sessioni temporanee possono ridurre la possibilità che contenuti ostili sopravvivano oltre una singola interazione.