Un esempio avversario è un input deliberatamente creato per far sì che un modello di machine learning si comporti in modo errato. La modifica può essere minima per un essere umano, ma può spostare l'output del modello abbastanza da causare una classificazione errata, una decisione sbagliata o un guasto di sicurezza. Nei sistemi di immagini, ciò può significare che un cartello di stop venga interpretato come qualcos'altro; nei sistemi linguistici, può significare testo che spinge un modello verso una risposta non sicura o fuorviante.
Questo è importante nella sicurezza informatica perché gli attaccanti possono usare esempi avversari per aggirare il rilevamento, confondere i filtri automatici o manipolare il processo decisionale abilitato dall'IA. I difensori utilizzano training avversario, convalida degli input e test di robustezza per misurare come i modelli reagiscono in condizioni ostili. Nelle implementazioni reali, gli esempi avversari fanno parte di un modello di minaccia più ampio che include anche dati avvelenati, prompt injection e altri input progettati per indurre i sistemi fidati a comportamenti dannosi.