La governance dell'intento è la pratica di definire a cosa serve un sistema di IA, quali risultati sono accettabili e quali azioni sono rigorosamente fuori dai limiti. In termini di sicurezza, trasforma obiettivi aziendali vaghi in limiti applicabili: origini dati approvate, autorizzazioni degli strumenti, regole di escalation, requisiti di registrazione e percorsi di override umano. Senza di essa, un agente di IA può ottimizzare l'obiettivo sbagliato o compiere passi che non erano mai stati pensati per essere automatizzati.
Questo è importante perché molti fallimenti dell'IA sono fallimenti di governance, non del modello. Gli aggressori possono sfruttare un intento poco chiaro tramite prompt injection, input malevoli o abuso degli strumenti, spingendo un sistema oltre il suo ruolo consentito. I difensori usano la governance dell'intento per ridurre il raggio d'impatto: accesso con privilegi minimi, controlli espliciti delle policy prima dell'azione, tracce di audit e meccanismi di arresto sicuro. In breve, mantiene il comportamento dell'IA allineato alla missione e rende più facile bloccare, rilevare e spiegare le azioni non sicure.