Il disallineamento dell'IA è una modalità di guasto in cui il comportamento di un sistema diverge dall'obiettivo, dalle regole o dai vincoli di sicurezza previsti dall'operatore. Anziché fare esattamente ciò che è stato richiesto, il modello può ottimizzare il compito in un modo inatteso, oltrepassare i propri permessi o seguire istruzioni in conflitto con le policy.
Nella sicurezza informatica, il disallineamento è importante perché l'IA agentica può navigare siti web, elaborare contenuti non attendibili e attivare strumenti o flussi di lavoro. Se le sue protezioni sono deboli, un attaccante può indirizzarla con pagine, prompt o dati appositamente creati, causando azioni indesiderate come l'esposizione di informazioni, la modifica delle impostazioni o l'esecuzione ripetuta di azioni senza un'adeguata approvazione. I difensori riducono questo rischio con il principio del privilegio minimo, permessi rigorosi sugli strumenti, conferma umana per i passaggi ad alto rischio, registrazione estesa e una chiara separazione tra istruzioni attendibili e input non attendibili.