La superficie di attacco dell'IA è l'insieme completo dei punti in cui un sistema di intelligenza artificiale può essere abusato, manipolato o preso di mira. Questo include i dati di addestramento, gli input del modello, i prompt, le API, i plugin, i canali di output e l'infrastruttura che ospita il modello. In pratica, è importante perché i sistemi di IA spesso prendono decisioni o generano testo in base a dati che non controllano completamente, il che può consentire agli aggressori di indirizzare i risultati, estrarre informazioni sensibili o attivare azioni non sicure.
Gli attacchi comuni includono prompt injection, data poisoning, furto del modello e abuso dei flussi di lavoro abilitati dall'IA tramite integrazioni con privilegi eccessivi. I difensori riducono la superficie di attacco limitando l'accesso, convalidando gli input, isolando i modelli dai sistemi sensibili, registrando l'attività del modello e testando i casi di abuso prima della distribuzione. Negli ambienti dei fornitori, la superficie di attacco dell'IA include anche i controlli del provider, poiché un'integrazione di terze parti debole può diventare un punto di ingresso nell'azienda.