Le metriche di benchmark sono test, punteggi o soglie definiti usati per misurare se un sistema funziona come previsto. Nella cybersecurity, trasformano affermazioni vaghe come "sicuro", "robusto" o "protetto" in qualcosa di verificabile. Un benchmark può misurare il tasso di rilevamento, i falsi positivi, la latenza, la resistenza al prompt injection o quanto bene un modello gestisce input avversari. Poiché lo stesso sistema può apparire valido in una demo e fallire sotto pressione, i benchmark aiutano i team a confrontare gli strumenti in modo coerente e a individuare i punti deboli prima della distribuzione.
Sono importanti sia in difesa sia in attacco. I team di sicurezza usano i benchmark per convalidare motori antivirus, filtri anti-phishing, sistemi di rilevamento delle intrusioni e protezioni AI. Gli attaccanti, invece, possono calibrare malware o contenuti di social engineering contro filtri noti finché non riescono ad aggirarli. I buoni benchmark sono pubblici, ripetibili e legati a scenari di minaccia realistici; i benchmark deboli sono facili da manipolare e possono creare un falso senso di sicurezza. In ambienti ad alto rischio, le metriche di benchmark supportano gli acquisti, gli audit e la supervisione umana mostrando cosa è stato testato, come è stato misurato e dove il sistema continua a fallire.