Un safety framework è un processo formale per valutare i rischi e stabilire le condizioni prima che un modello di IA venga addestrato, sottoposto a fine-tuning o rilasciato. In genere definisce cosa deve essere testato, quali minacce sono inaccettabili, chi approva il rilascio e quale monitoraggio è richiesto dopo la distribuzione. I controlli comuni includono red-teaming, valutazioni delle capacità e degli abusi, restrizioni di accesso, documentazione e piani di rollback.
Nella sicurezza informatica, i safety framework sono importanti perché i sistemi di IA possono essere usati sia per la difesa sia per l'attacco. Un framework debole può non rilevare rischi come la generazione di phishing, l'assistenza alla scrittura di codice malevolo, la fuga di dati, il prompt injection o l'uso non sicuro degli strumenti. Un framework solido aiuta i difensori a dimostrare che un modello è stato misurato contro casi realistici di abuso e che le soglie di rilascio si basano su evidenze, non su supposizioni. In pratica, il framework trasforma la sicurezza del modello da promessa vaga a processo di controllo ripetibile.