L'allucinazione dell'IA è un output falso o inventato prodotto con elevata sicurezza da un modello. Invece di dimostrare fatti, molti sistemi generativi prevedono le parole successive più probabili, quindi possono produrre nomi, date, comandi, citazioni o spiegazioni convincenti ma errati. Il risultato può apparire rifinito e autorevole anche quando non è fondato su dati reali.
Nella sicurezza informatica, le allucinazioni sono importanti perché i team possono affidarsi all'IA per riepiloghi delle minacce, revisione del codice, risposta agli incidenti o stesura di policy. Un indicatore, un dettaglio di exploit o una modifica di configurazione allucinati possono far perdere tempo agli analisti o innescare decisioni sbagliate. Gli aggressori possono anche sfruttare questa debolezza tramite prompt injection o contesto fuorviante per orientare un modello verso output non sicuri o falsi. Le difese includono il recupero da fonti attendibili, una verifica rigorosa delle affermazioni generate dall'IA, revisione umana per le azioni ad alto rischio e registrazione che preservi la provenienza. La regola è semplice: se l'output influenzerà il lavoro di sicurezza, deve essere controllato rispetto a prove primarie.