Le valutazioni sono procedure di test o di valutazione usate per misurare se un sistema di IA si comporta in modo affidabile per un'attività. Possono includere prompt di benchmark, set di test nascosti, controlli di sicurezza, test di regressione e revisioni basate su scenari. Nella sicurezza dell'IA, le valutazioni sono importanti perché sono uno dei pochi modi per individuare comportamenti fragili prima che un modello o una catena di strumenti venga distribuita agli utenti.
Nelle difese reali, i team usano le valutazioni per verificare che le modifiche ai prompt, gli aggiornamenti del modello, i nuovi strumenti o le modifiche alla configurazione non indeboliscano la qualità dell'output o non aumentino i comportamenti rischiosi. Negli attacchi, valutazioni deboli o assenti possono lasciare che modifiche non sicure arrivino in produzione, come modelli che divulgano dati, seguono istruzioni malevole o falliscono in casi limite. Buone valutazioni aiutano a definire i criteri di accettazione, ridurre il rischio di rilascio e dimostrare che un sistema continua a funzionare dopo le modifiche.