Una valutazione delle capacità è una valutazione di sicurezza mirata usata per determinare se un sistema supera una soglia rilevante per il rischio. A differenza di un benchmark ampio, pone una domanda più circoscritta: il modello è in grado di fare qualcosa di pericoloso, come produrre testo di phishing convincente, assistere nello sviluppo di malware, seguire istruzioni avversarie o usare strumenti in modi che aumentano il rischio di uso improprio?
Questo è importante perché le decisioni di sicurezza sono spesso basate su soglie. Se un modello supera un livello definito di capacità, i difensori possono richiedere controlli più forti, accesso limitato, revisione umana o un blocco della distribuzione. In pratica, queste valutazioni usano attività progettate con cura, prompt avversari e regole di punteggio che si concentrano su comportamenti legati ad abusi o perdita di controllo. Buone valutazioni delle capacità sono ripetibili e difficili da manipolare, quindi possono supportare audit e decisioni di rilascio.