L'abuso del modello è l'uso improprio di un sistema di IA per attività dannose, vietate o in violazione delle policy. Invece di aiutare in attività legittime, il modello viene utilizzato per generare istruzioni pericolose, automatizzare frodi, assistere nella weaponization o supportare altri flussi di lavoro abusivi. L'abuso può avvenire tramite un singolo prompt, ma più spesso si presenta come un insieme di richieste che rivelano gradualmente l'intento.
Nella sicurezza informatica, l'abuso del modello è importante perché gli strumenti di IA possono accelerare ricognizione, phishing, sviluppo di malware, social engineering e altre fasi di un attacco. I difensori cercano formulazioni evasive, tentativi ripetuti, conversazioni frammentate e linguaggio a duplice uso che nasconde il vero obiettivo. Controlli di sicurezza come registrazione dei log, limiti di frequenza, filtri sui contenuti e revisione umana aiutano a rilevare e interrompere questi comportamenti. Le stesse tecniche si applicano anche agli usi impropri non informatici, inclusi la pianificazione vicina alle armi o i test operativi, in cui il modello diventa parte di un ciclo di ingegneria non sicuro.