L’avvelenamento dei documenti consiste nell’inserimento deliberato di materiale malevolo, fuorviante o comunque inaffidabile in una base di conoscenza. Nella generazione aumentata dal recupero (RAG), un sistema può recuperare tale materiale e fornirlo a un modello linguistico come contesto, influenzando potenzialmente la risposta. I contenuti avvelenati possono anche compromettere l’affidabilità dei risultati di ricerca o delle decisioni successive.
Le difese iniziano prima del recupero: convalidare le fonti, analizzare e verificare i documenti durante l’acquisizione e registrare la provenienza, in modo che i contenuti possano essere rintracciati e valutati. Applicare controlli di accesso durante il recupero dei documenti, trattare il testo recuperato come input non attendibile e monitorare eventuali modifiche o schemi di recupero sospetti. Questi controlli riducono la possibilità che contenuti dannosi vengano accettati come autorevoli o raggiungano gli utenti tramite output generati dall’IA.