Una soglia di rischio è un livello predefinito di preoccupazione che indica a un team di sicurezza o a un team di governance dell'IA quando un modello è accettabile per il rilascio, quando dovrebbe essere limitato e quando necessita di ulteriori test. Trasforma vaghe preoccupazioni di sicurezza in una regola decisionale, spesso basata sulle capacità, sul potenziale di abuso, sull'affidabilità e sulla qualità delle prove disponibili.
Nel cyber security, le soglie di rischio contano perché influenzano il modo in cui vengono distribuiti i sistemi potenti. Una soglia bassa può mantenere un modello dietro controlli più rigorosi, mentre una soglia più alta può consentire un accesso più ampio dopo la revisione. Gli attaccanti possono sfruttare soglie deboli spingendo i sistemi appena sotto la linea durante la valutazione, per poi abusarne dopo il rilascio. I difensori usano le soglie per autorizzare i lanci, attivare test red team, richiedere una revisione umana o bloccare funzionalità non sicure finché le prove non migliorano. La domanda chiave di sicurezza è se la soglia sia trasparente, misurabile e supportata da test verificabili.