Una funzione di memoria è una caratteristica che memorizza il contesto precedente da una sessione e lo riutilizza in seguito, così che un sistema possa sembrare ricordare persone, preferenze o attività in corso. Nei prodotti di IA, questo può rendere le conversazioni più fluide e personali perché il modello può fare riferimento alle chat precedenti senza che l'utente debba ripetere tutto.
Nella sicurezza informatica, la memoria è delicata perché il contesto memorizzato può includere dati personali, indizi relativi alle credenziali, dettagli di lavoro o modelli comportamentali. Se gli aggressori ottengono accesso all'archivio della memoria, possono ricavare dati utili per la ricognizione o manipolare le risposte future. La memoria può anche trasportare istruzioni avvelenate, rendendo gli attacchi di prompt injection più persistenti tra una sessione e l'altra. Le difese includono consenso rigoroso, limiti di conservazione, isolamento per utente, controlli di accesso, registrazione degli eventi e un modo per rivedere o eliminare la memoria memorizzata. Se gestita bene, la memoria migliora l'usabilità; se gestita male, diventa un rischio per la privacy e per gli abusi.