L'opacità è la difficoltà di capire come un modello, un algoritmo o un processo decisionale abbia prodotto il proprio risultato. Nella sicurezza informatica, l'opacità è importante perché i difensori devono sapere perché un sistema ha segnalato un file, bloccato un utente o negato l'accesso, e gli attaccanti possono cercare di nascondere una logica malevola all'interno di sistemi complessi e difficili da esaminare.
I sistemi opachi possono essere rischiosi negli strumenti di sicurezza automatizzati, nel punteggio antifrode, nel controllo degli accessi e nella profilazione. Se gli analisti non riescono a tracciare input, pesi, regole o passaggi intermedi, possono perdere di vista bias, errori di configurazione o manomissioni. Gli attaccanti beneficiano anche dell'opacità quando incorporano malware nei modelli, abusano di funzionalità nascoste o sfruttano servizi black-box difficili da verificare. Buone difese riducono l'opacità con registrazione dei log, output spiegabili, revisione indipendente, modelli riproducibili e supervisione umana, così che le decisioni possano essere contestate e corrette.


