L'IA spiegabile, o XAI, si riferisce a sistemi di IA in grado di mostrare le evidenze, la logica o le caratteristiche alla base di una decisione in modo che gli esseri umani possano esaminarle. Invece di restituire solo un punteggio, una raccomandazione o un'etichetta, il sistema spiega perché è arrivato a quel risultato. Nel campo della cybersecurity, questa trasparenza è fondamentale perché i difensori devono avere fiducia e verificare le conclusioni assistite dall'IA prima di agire in base a esse.
L'XAI è importante in attività come il rilevamento delle minacce, la prioritizzazione delle vulnerabilità e l'analisi del phishing. Un modello può segnalare un asset come ad alto rischio o un messaggio come malevolo, ma gli analisti hanno comunque bisogno di sapere quali segnali hanno determinato l'output, come l'esposizione, il comportamento o il contesto delle policy. Gli aggressori possono anche sfruttare modelli opachi nascondendosi nelle lacune dei dati o confondendo le decisioni automatizzate. L'IA spiegabile aiuta i team di sicurezza a verificare i risultati, individuare gli errori e usare l'IA come supporto alle decisioni anziché come una scatola nera.