Un AI attack è un'etichetta generica per minacce che usano l'intelligenza artificiale, prendono di mira sistemi di IA o abusano di flussi di lavoro guidati dall'IA. Può includere l'injection dei prompt contro i chatbot, il data poisoning durante l'addestramento del modello, l'estrazione del modello, l'elusione dei rilevatori basati sull'IA oppure l'uso di strumenti di IA per aumentare la scala di phishing, sviluppo di malware e ricognizione.
Questo termine è importante perché l'IA può accelerare sia l'offesa sia la difesa. Gli aggressori possono usare l'IA per automatizzare l'ingegneria sociale, generare esche convincenti o trovare punti deboli negli ambienti cloud e applicativi più rapidamente degli esseri umani. Anche i difensori usano l'IA per rilevare anomalie e rispondere più velocemente, ma ciò crea nuovi rischi se i modelli prendono decisioni sbagliate, si fidano di input non verificati o agiscono senza adeguate protezioni. In pratica, un AI attack spesso prende di mira i dati, i prompt, gli output, le autorizzazioni o l'automazione collegati a un sistema di IA.