L'auto-attenzione è un meccanismo dei transformer che consente a ciascun token di assegnare un punteggio alla propria relazione con ogni altro token nella stessa sequenza. Questi punteggi aiutano il modello a decidere quali parole, simboli o frammenti di codice contano di più quando costruisce una rappresentazione interna. A differenza delle regole a finestra fissa, l'auto-attenzione può collegare parti distanti di un input, ed è per questo che è utile per prompt lunghi, log, codice sorgente e ragionamento in più passaggi.
Nella sicurezza informatica, l'auto-attenzione alimenta molti modelli linguistici usati per l'analisi di malware, il triage degli alert, il rilevamento del phishing e la revisione del codice. La sua principale rilevanza per la sicurezza è la scalabilità: l'auto-attenzione densa diventa costosa man mano che gli input crescono, quindi lunghi testi controllati da un attaccante possono aumentare la latenza e l'uso di memoria. I difensori rispondono con finestre di contesto più brevi, attenzione sparsa, filtraggio degli input e sistemi di recupero che limitano la quantità di testo non fidato che raggiunge il modello. Poiché il modello può prestare attenzione a istruzioni inserite malevolmente e nascoste in una lunga sequenza, il controllo del contesto fa parte della difesa del modello stesso.