I dati di addestramento del modello sono la raccolta di testi, immagini, registri, record o altri esempi usati per creare o migliorare un modello di machine learning. Insegnano al modello modelli, linguaggio e decisioni. Nei sistemi di IA, la qualità e la gestione di questi dati spesso contano quanto il modello stesso.
Nella sicurezza informatica, i dati di addestramento sono sensibili perché possono contenere informazioni personali, contenuti aziendali riservati o dettagli rilevanti per la sicurezza. Gli aggressori possono cercare di avvelenarli con esempi malevoli, facendo apprendere al modello un comportamento insicuro. Possono anche tentare l'estrazione dei dati o un attacco di membership inference per recuperare informazioni private che hanno influenzato l'addestramento. I difensori riducono questo rischio minimizzando i dati raccolti, filtrando i segreti, controllando gli accessi, cifrando i dati e separando i contenuti dei clienti dalle pipeline di miglioramento del modello. In ambienti regolamentati, regole chiare sull'uso dei dati delle conversazioni per l'addestramento sono un controllo fondamentale della privacy.