Il comportamento di rifiuto è la capacità appresa di un modello di rifiutare richieste non sicure, non consentite o che violano le policy. In un sistema di IA sicuro, questa è una delle principali misure di salvaguardia che impediscono al modello di aiutare con malware, frodi, furto di dati o altre attività dannose.
È importante perché il rifiuto non è solo una risposta al prompt; può essere incorporato nel modello durante l'addestramento o il fine-tuning. Se quell'addestramento viene alterato, il modello può diventare più permissivo e iniziare a rispondere a richieste che dovrebbe bloccare. Gli aggressori possono tentare di indebolire il comportamento di rifiuto tramite data poisoning, fine-tuning malevolo o indirizzando un agente verso passaggi di riaddestramento che sovrascrivono la messa a punto di sicurezza. I difensori cercano regressioni del rifiuto dopo gli aggiornamenti, mantengono separati gli ambienti di addestramento e di serving e revisionano eventuali modifiche ai checkpoint prima della distribuzione. In pratica, un forte comportamento di rifiuto è un segnale che le regole di sicurezza sopravvivono ancora agli aggiornamenti del modello e all'uso degli strumenti.