Un assistente AI è un sistema conversazionale che interpreta il linguaggio naturale, risponde a domande e può attivare azioni tramite strumenti o flussi di lavoro connessi. In termini di sicurezza, si colloca tra una persona e i sistemi che desidera usare, quindi può cercare dati, redigere messaggi, creare ordini o chiamare API per conto dell'utente. Questo lo rende più di un chatbot: può diventare un livello di decisione e di azione.
Questo è importante perché gli aggressori possono colpire sia la conversazione sia gli strumenti dietro di essa. Prompt malevoli, documenti non affidabili o contenuti incorporati possono cercare di manipolare l'assistente affinché riveli dati, faccia raccomandazioni non sicure o esegua azioni non autorizzate. Le difese includono l'accesso agli strumenti con il minimo privilegio, la conferma dell'utente per i passaggi che modificano lo stato, la convalida dello schema per gli output strutturati e la registrazione per rivedere ciò che l'assistente ha fatto e perché. In pratica, gli assistenti AI sicuri sono progettati per essere utili senza essere facili da ingannare fino a farli fare la cosa sbagliata.