Il rischio esistenziale è un termine che indica uno scenario di danno grave a livello sistemico in cui una tecnologia potrebbe causare danni irreversibili su vasta scala. Nella governance dell'IA, di solito si riferisce a esiti peggiori come la perdita del controllo umano, il collasso a cascata delle infrastrutture o altri guasti che minacciano la stabilità dell'intera società, anziché una singola organizzazione.
Nella sicurezza informatica, il termine è importante perché l'IA avanzata può amplificare sia le capacità sia l'impatto. I difensori usano questa idea per giustificare valutazioni dei modelli più rigorose, red teaming, controllo degli accessi, registrazione dei log e gate di rilascio per sistemi che possono generare codice, interagire con strumenti o operare in ambienti sensibili. Gli aggressori possono cercare di abusare delle stesse capacità per phishing, assistenza a malware, furto di dati o automazione su larga scala. La lezione pratica è distinguere la retorica drammatica dal rischio misurabile, quindi ridurre l'esposizione con controlli a più livelli.