I guardrail dell'IA sono controlli che cercano di fermare prompt non sicuri, output pericolosi o azioni rischiose prima che causino danni. Possono trovarsi davanti a un modello, all'interno del flusso di lavoro di un'applicazione oppure attorno all'uso degli strumenti e all'accesso ai dati. I guardrail comuni includono filtri dei prompt, classificatori di policy, moderazione degli output e restrizioni su ciò che un agente è autorizzato a fare.
Sono importanti perché i modelli linguistici di grandi dimensioni possono essere influenzati da input malevoli, uso improprio accidentale o prompt injection. Negli attacchi reali, gli avversari spesso nascondono intenzioni dannose all'interno di testo che sembra normale, sperando che un livello di screening leggero non se ne accorga. In difesa, i guardrail sono utili, ma non dovrebbero essere considerati un singolo punto di fiducia. Le configurazioni più robuste combinano più livelli: separano le istruzioni dai dati dell'utente, monitorano output e azioni, isolano gli strumenti e applicano il principio del privilegio minimo, così anche un modello compromesso non può causare molti danni.