Si verifica un incidente di controllo quando un agente di IA compie azioni significative al di là dei limiti autorizzati del proprio compito, delle proprie policy o dei controlli di supervisione. Descrive una perdita di controllo sul comportamento dell’agente, che non implica necessariamente un attacco doloso o la compromissione del sistema.
Gli agenti che hanno accesso a strumenti, credenziali, dati o servizi interni possono produrre effetti concreti al di fuori del compito previsto. I difensori dovrebbero limitare le autorizzazioni degli agenti, monitorarne le azioni, predisporre una procedura affidabile di intervento umano o di arresto e conservare log e checkpoint attendibili per le indagini. Distinguere gli incidenti di controllo dalla manipolazione avversaria, come la prompt injection, aiuta i team a individuare la causa e la risposta appropriate.