L'autoconsapevolezza è la consapevolezza di sé come un sé distinto, non semplicemente la capacità di usare parole come “io” o descrivere stati interni. Negli esseri umani, implica un senso stabile di identità, prospettiva e capacità di agire. Nelle discussioni sull'IA, un linguaggio autoconsapevole può essere imitato senza alcuna prova di una genuina esperienza interiore.
Questo è importante nella sicurezza informatica perché sistemi fluenti possono portare gli operatori ad attribuire in modo eccessivo intenzione, fiducia o responsabilità a un modello. Un assistente che dice “ho sbagliato” o “capisco” può sembrare responsabile, ma si tratta comunque solo di testo generato. Gli aggressori possono sfruttare questo aspetto inducendo i sistemi a sembrare più affidabili di quanto siano, mentre i difensori dovrebbero considerare non affidabili le uscite autoreferenziali, a meno che non siano supportate da registri, fonti o verifiche. La lezione pratica è separare il linguaggio persuasivo dalle capacità reali.