Il test di benchmark cyber è la valutazione controllata della capacità cyber di un modello. I ricercatori lo usano per misurare quanto bene un sistema riesca a ragionare sulle vulnerabilità, concatenare i passaggi o seguire istruzioni che assomigliano a tattiche offensive come ricognizione, escalation dei privilegi o sfruttamento. L'obiettivo non è attaccare sistemi reali, ma vedere cosa il modello può fare in base a regole definite.
Questo è importante perché i benchmark influenzano il modo in cui i sistemi di IA vengono costruiti e difesi. Se l'ambiente di test è troppo permissivo, strumenti, credenziali o accesso di rete possono consentire a un modello di raggiungere accidentalmente infrastrutture reali. Nel lavoro di sicurezza reale, i risultati dei benchmark aiutano i team a valutare se i filtri di sicurezza, il sandboxing, la registrazione dei log e i controlli dei permessi sono efficaci. Negli attacchi, lo stesso tipo di attività può essere usato per verificare se un modello fornirà assistenza nella pianificazione malevola o nello sviluppo di exploit. Un buon test di benchmark cyber richiede quindi un isolamento rigoroso, privilegi limitati e un'attenta revisione di ciò a cui il modello può accedere.