La contaminazione del set di addestramento si verifica quando materiali inadatti, come testi inesatti, di bassa qualità o sintetici, vengono inclusi nei dati utilizzati per addestrare o perfezionare un modello. Se i contenuti generati dall’IA vengono copiati ripetutamente in fonti pubbliche o registri interni e successivamente raccolti come dati di addestramento, possono reimmettere gli output del modello nei dati usati per addestrarlo in futuro.
Questo è importante per la sicurezza informatica perché i dati contaminati possono ridurre l’affidabilità, rafforzare errori o schemi distorti e far sembrare le risposte generate più autorevoli di quanto siano giustificate dalle prove disponibili. Si tratta di un rischio, non della prova che un determinato modello ne sia stato influenzato. Le misure di difesa includono il monitoraggio della provenienza dei dati, la selezione e la deduplicazione delle fonti, la valutazione dei modelli per individuare regressioni e la revisione umana dei contenuti prima che vengano inseriti in archivi di conoscenze attendibili o corpora di addestramento.