Il rischio di contaminazione è la possibilità che i dati di test finiscano nella pipeline di addestramento o di tuning di un sistema. Quando succede, un benchmark non misura più la vera capacità di generalizzazione; misura quanto bene il modello ha già visto le risposte. Nella sicurezza informatica, questo può gonfiare la qualità apparente di rilevatori di malware, filtri antiphishing, classificatori di exploit o assistenti AI usati per l'analisi.
Il rischio è importante perché le decisioni di sicurezza si basano su valutazioni affidabili. Se campioni, prompt, report sugli incidenti o etichette di un set di test vengono riutilizzati durante l'addestramento, un modello può sembrare valido sulla carta ma fallire davanti a nuovi attacchi. Gli attaccanti traggono vantaggio da questo tipo di overfitting, mentre i difensori possono acquistare o distribuire strumenti meno capaci di quanto dichiarato. Buone difese includono una rigorosa separazione dei dati, la deduplicazione, il tracciamento della provenienza e set di test nascosti o ruotati con accesso controllato.