La valutazione pre-distribuzione consiste in test eseguiti prima che un modello o sistema venga rilasciato agli utenti. L'obiettivo è decidere se soddisfa le soglie richieste di sicurezza e di rischio, non solo se si comporta bene nei benchmark. Gli valutatori possono verificare la propensione a seguire istruzioni dannose, la resistenza ai jailbreak, la fuga di dati, l'autonomia o altri comportamenti che potrebbero creare rischi per la sicurezza.
Nella sicurezza informatica, questo è importante perché i modelli possono aiutare sia i difensori sia gli aggressori. Un modello che supera i test di capacità ma fallisce la revisione di sicurezza può essere bloccato dalla distribuzione, mantenuto in un ambiente limitato o richiedere ulteriori misure di salvaguardia. Nella pratica, la valutazione pre-distribuzione include spesso red-teaming, test di casi d'abuso e controlli di conformità alle policy, così le capacità pericolose vengono intercettate prima del rilascio. Se eseguita bene, riduce la probabilità che un sistema di IA difettoso venga esposto in flussi di lavoro sensibili, dove anche piccole debolezze possono essere sfruttate.