Un modello black box è un sistema il cui ragionamento interno è difficile da ispezionare o tradurre in termini comprensibili per l'uomo. Nel machine learning, questo di solito significa che il modello può produrre risultati accurati, ma i passaggi tra input e output sono troppo complessi, opachi o proprietari per una spiegazione chiara.
In cybersecurity, i modelli black box sono comuni nel rilevamento del malware, nel punteggio antifrode, nel filtraggio dello spam e nella prioritizzazione delle minacce. Possono essere potenti, ma creano anche rischi: i difensori potrebbero non sapere perché un file è stato bloccato, perché il traffico è stato segnalato o quando è probabile che il modello fallisca. Questo rende più difficili l'audit, la revisione degli incidenti e la conformità. Gli aggressori possono anche sondare le difese black box inviando molti input di prova e osservando come il sistema reagisce, una tecnica simile al black-box testing. Per questo motivo, i team di sicurezza spesso affiancano ai modelli black box strumenti di logging, revisione umana e explainability per rendere le decisioni più affidabili.