Un benchmark statico è un insieme di valutazione fisso che rimane uguale nel tempo. Nella sicurezza informatica, viene usato per confrontare rilevatori di malware, classificatori di intrusioni, filtri anti-phishing o sistemi di IA rispetto a un test stabile. Poiché gli input non cambiano, i risultati sono facili da confrontare tra versioni e fornitori.
La debolezza è che gli aggressori possono adattarsi. Se un benchmark diventa pubblico o viene riutilizzato ampiamente, i difensori possono mettere a punto i modelli esattamente su quel test, e i sistemi moderni possono alla fine “saturarlo”. Questo può far apparire i punteggi solidi anche quando le prestazioni nel mondo reale sono solo modeste. In pratica, i benchmark statici sono utili per i test di regressione e i confronti di riferimento, ma dovrebbero essere affiancati da campioni rotanti, holdout nascosti e test avversari. Queste aggiunte aiutano a mostrare se uno strumento può gestire nuovo malware, nuovi esche di phishing o un comportamento degli aggressori cambiato, invece di memorizzare semplicemente un esame fisso.