Un incidente AI è un evento dannoso o significativo che coinvolge un sistema AI e che richiede registrazione, revisione e talvolta escalation. Può includere output non sicuri, deriva del modello, fuga di dati, errori di automazione, abuso tramite prompt injection o un guasto che causa un impatto aziendale, sulla sicurezza o sulla protezione. Il termine è utile perché non tutti i problemi di AI costituiscono una violazione completa, ma molti richiedono comunque una gestione formale.
Nella sicurezza informatica, gli incidenti AI sono importanti perché i sistemi AI fanno ormai parte sia delle superfici di attacco sia delle difese. Gli aggressori possono provocare output errati, manipolare un modello con dati avvelenati oppure usare uno strumento AI per accelerare phishing e ricognizione. I difensori usano definizioni di incidente, classificazioni di gravità e playbook di risposta per decidere quando disabilitare un modello, avvisare gli stakeholder, conservare i log e indagare sulla causa principale. Una gestione chiara degli incidenti aiuta i team a confrontare gli eventi in modo coerente e a intervenire prima che un piccolo guasto AI diventi un problema operativo o di sicurezza più grave.