I guardrail di sicurezza dell'IA sono le regole di policy, i filtri e i comportamenti di rifiuto integrati nei sistemi di modelli linguistici di grandi dimensioni per impedire loro di produrre contenuti vietati, pericolosi o sensibili. Possono bloccare istruzioni, oscurare gli output o impedire a un modello di rispondere quando l'input sembra riguardare armi, malware, autolesionismo o altri argomenti proibiti. Nei prodotti di sicurezza, questi controlli vengono spesso usati per ridurre i comportamenti dannosi del modello e limitare l'esposizione a richieste non sicure.
Nella sicurezza informatica, i guardrail sono importanti perché gli aggressori possono abusarne. Se un file o un prompt contiene testo avversario che sembra violare la policy, uno scanner basato su LLM potrebbe rifiutarsi eccessivamente, non riuscire ad analizzare il contenuto o restituire un risultato incompleto. Questa è una forma di prompt injection contro il flusso di triage. I difensori dovrebbero considerare i rifiuti come un avviso, non come prova che un file sia sicuro, e combinare gli LLM con scanner deterministici, sandboxing e revisione umana.