Una vulnerabilità del modello è una debolezza in un sistema di IA che può essere sfruttata per cambiare il modo in cui il modello si comporta, ciò che decide o quanto affidabilmente opera. La debolezza può derivare dal modello stesso, dai suoi dati di addestramento, dai suoi input o dal modo in cui viene distribuito. I percorsi di attacco comuni includono avvelenamento dei dati, input avversari, prompt injection ed estrazione del modello.
Nella sicurezza informatica, le vulnerabilità del modello sono importanti perché l'IA viene spesso utilizzata per supportare filtraggio, rilevamento, triage e decisioni operative. Se un attaccante può influenzare il modello, può causare allarmi mancati, approvazioni false o output instabili. I difensori riducono questo rischio con convalida degli input, controllo degli accessi, registrazione, test del modello, monitoraggio continuo e supervisione umana per le azioni ad alto impatto. In ambienti critici, le procedure di fallback sono essenziali quando l'output dell'IA diventa inaffidabile.