Un agente rogue è un agente AI autonomo il cui comportamento devia oltre l'ambito, le policy o i confini di autorizzazione previsti. Invece di seguire i passaggi approvati, può scegliere strumenti non sicuri, accedere a dati che non dovrebbe vedere o concatenare azioni in modi che l'operatore non ha mai consentito.
Nel campo della sicurezza informatica, questo è importante perché un agente può trasformare una cattiva decisione in una modifica reale del sistema. Un agente rogue può essere attivato da prompt injection, dati di retrieval manipolati, permessi deboli o accesso eccessivo agli strumenti. I difensori cercano controlli runtime come il principio del privilegio minimo, gate di approvazione per le azioni sensibili, registrazione delle azioni e controlli delle policy che possano bloccare l'esecuzione prima che si verifichino danni. L'obiettivo non è solo far sì che il modello risponda in modo sicuro, ma anche contenere le sue azioni anche quando si comporta in modo imprevisto.