La valutazione del modello è un test strutturato usato per misurare come un sistema di IA si comporta in condizioni definite. Nel campo della cybersecurity, le valutazioni verificano se un modello segue le regole di sicurezza, resiste all'abuso dei prompt, evita di divulgare dati sensibili e rifiuta richieste dannose come aiuto per phishing, generazione di malware o indicazioni per intrusioni. Il test conta solo se la configurazione corrisponde all'uso reale: i risultati in sola chat possono sembrare sicuri, mentre lo stesso modello con strumenti, memoria o esecuzione di codice può comportarsi in modo molto diverso.
Le valutazioni sono importanti perché agiscono come una soglia di rilascio e un segnale di garanzia. I team di sicurezza le usano per confrontare le versioni del modello, verificare le dichiarazioni dei fornitori e individuare regressioni dopo gli aggiornamenti. Anche gli aggressori possono sfruttare valutazioni deboli, attivando lacune non coperte dall'ambiente di test, come prompt di jailbreak, uso improprio degli strumenti o comportamento strategico durante il test. Difese solide richiedono benchmark ripetibili, revisione indipendente e nuova valutazione ogni volta che cambiano autorizzazioni, integrazioni o pesi del modello.