I modelli sul dispositivo sono componenti di IA archiviati ed eseguiti localmente su un computer, un telefono o un altro dispositivo, invece di essere scaricati da un servizio remoto a ogni utilizzo. A seconda del sistema, l’elaborazione locale può ridurre la necessità di inviare dati tramite una rete e può consentire ad alcune funzionalità di funzionare offline. I file dei modelli possono inoltre occupare molto spazio di archiviazione ed essere aggiornati o rimossi separatamente dai controlli visibili della funzionalità.
Nella sicurezza informatica, l’esecuzione locale cambia il luogo in cui vengono elaborati i dati, ma non garantisce di per sé la privacy o la sicurezza: un’applicazione potrebbe comunque trasmettere prompt o risultati e un software vulnerabile potrebbe esporre file locali. Nei sistemi effettivamente utilizzati, i responsabili della difesa dovrebbero verificare quali modelli e dati correlati sono installati, come vengono aggiornati e se la disattivazione di una funzionalità di IA rimuove davvero i relativi componenti. Le policy di gestione dei dispositivi, i controlli dello spazio di archiviazione e le impostazioni documentate aiutano a confermare lo stato del sistema, invece di basarsi soltanto su un interruttore nell’interfaccia.