Una configurazione dell'inferenza è la configurazione hardware e software che consente a un modello di IA addestrato di generare output su un sistema. Può includere processori compatibili, memoria, file del modello, software di esecuzione e impostazioni che determinano come viene eseguito il modello. Se un modello è suddiviso tra più dispositivi, la configurazione deve anche coordinare il modo in cui questi dispositivi condividono il carico di lavoro.
Nella sicurezza informatica, la configurazione dell'inferenza è importante perché eseguire un modello su dispositivi sconosciuti o poco potenti può richiedere una configurazione considerevole e l'accesso alle risorse di sistema. Nella ricerca, l'automazione può semplificare questo processo; in un attacco, dispositivi compromessi o esposti potrebbero potenzialmente essere predisposti per eseguire carichi di lavoro del modello. Una configurazione riuscita, da sola, non dimostra che un dispositivo sia stato compromesso o che il malware possa diffondersi autonomamente. I difensori dovrebbero proteggere le interfacce di gestione dei dispositivi, limitare l'accesso all'hardware e isolare i dispositivi consumer e IoT dai sistemi sensibili.