Nella sicurezza dell'IA, la singolarità è un'idea speculativa secondo cui l'intelligenza e il cambiamento tecnologico potrebbero accelerare oltre il controllo umano familiare. Non è una soglia tecnica standard, una certificazione o una prova che un sistema sia diventato autonomo in un modo nuovo. Il termine viene spesso usato in senso retorico, ed è per questo che i team di sicurezza dovrebbero trattarlo come un segnale di rischio piuttosto che come una prova.
È importante perché il problema di sicurezza non è una soglia futura drammatica, ma la graduale espansione delle capacità. Man mano che i sistemi di IA ottengono accesso a codice, strumenti, dati e API, i difensori devono chiedersi a cosa possono arrivare, cosa possono modificare e come vengono monitorati. In pratica, gli attacchi reali possono coinvolgere l'abuso degli strumenti, la manipolazione, l'automazione eccessivamente fidata e la perdita di controllo. Le difese efficaci si concentrano su privilegio minimo, registrazione dei log, gate di approvazione, limiti di frequenza, distribuzione graduale e red teaming per verificare il comportamento sotto pressione.