La validità della misurazione è il grado in cui un test misura realmente ciò che afferma di misurare. Nella sicurezza informatica, ciò significa chiedersi se un punteggio, una scansione o un esercizio rifletta un'esposizione reale, non solo le prestazioni in un test circoscritto.
È importante perché una validità debole crea un falso senso di sicurezza. Una scansione delle vulnerabilità può apparire “verde” pur trascurando percorsi sfruttabili, oppure una metrica di phishing può migliorare perché gli utenti hanno imparato lo schema del test invece di essere diventati più sicuri. Anche gli aggressori sfruttano misurazioni con bassa validità adattando il comportamento alla checklist, nascondendosi ai rilevatori semplici o attivando solo i segnali che uno strumento si aspetta.
I difensori migliorano la validità usando più misurazioni, scenari realistici, casi di test nascosti e una revisione manuale dei casi limite. Un test di sicurezza valido dovrebbe distinguere la vera capacità dall'overfitting, dal gaming delle metriche e dalla deriva dei benchmark, così che i responsabili possano fidarsi del risultato quando prendono decisioni su distribuzione e rischio.