Il monitoraggio degli abusi è un controllo di sicurezza che osserva uso improprio, frodi o violazioni delle policy analizzando prompt, output del modello, metadati e segnali derivati come punteggi di rischio o risultati dei classificatori. Nei servizi di IA e cloud, aiuta i difensori a rilevare comportamenti che possono essere dannosi anche quando nessuna singola richiesta appare sospetta da sola. L'obiettivo è identificare modelli, non solo eventi isolati.
Questo è importante perché molti attacchi sono coordinati o sottili: prompt injection, condivisione di account, generazione di spam, elusione delle policy e probing automatizzato spesso diventano visibili solo attraverso più interazioni. Nella difesa, il monitoraggio degli abusi può attivare limiti di velocità, revisione umana o restrizioni dell'account, e può supportare le indagini senza basarsi solo sul contenuto grezzo. Nelle implementazioni sensibili alla privacy, la sfida è mantenere abbastanza segnale per il rilevamento riducendo al minimo la conservazione dei dati dei clienti.