La metodologia di benchmark è l'insieme di regole che definisce come viene testato un sistema: quali compiti sono inclusi, come vengono valutati gli output, quali dati vengono usati e quali strumenti o limiti sono consentiti. Nella cybersecurity, la metodologia conta tanto quanto il punteggio, perché modificare l'harness o le regole di scoring può far apparire lo stesso modello migliore o peggiore.
Questo termine compare spesso nelle affermazioni sulla sicurezza dell'IA, dove i fornitori confrontano i modelli su test selezionati come la scoperta di vulnerabilità, il triage o il ragionamento sugli exploit. Un buon risultato di benchmark può suggerire una capacità reale, ma solo se la metodologia corrisponde all'ambiente di destinazione ed è resa pubblica in modo chiaro. I difensori usano la metodologia di benchmark per giudicare se uno strumento reggerà in produzione, mentre gli attaccanti possono sfruttare valutazioni progettate male per sopravvalutare le prestazioni o nascondere i punti deboli. Una buona metodologia rende i risultati riproducibili, confrontabili e più difficili da manipolare.