Un framework di inferenza è un software che carica ed esegue un modello di IA addestrato. Elabora gli input, gestisce gli output e può ottimizzare le prestazioni con tecniche come l'elaborazione in batch o l'accelerazione hardware. I framework possono essere eseguiti localmente, in un centro dati o come parte di un servizio ospitato.
Nel campo della cybersicurezza, il framework è importante perché è una dipendenza nella catena di fornitura dell'IA e può influire sul modo in cui vengono gestiti i dati, sul luogo in cui avviene il calcolo e sui componenti che necessitano di aggiornamenti di sicurezza. Gli attaccanti possono prendere di mira le vulnerabilità dei framework o delle loro dipendenze, mentre i difensori dovrebbero censirli, verificarne la provenienza, esaminare le autorizzazioni e i flussi di dati e mantenerli aggiornati con le patch. Un'applicazione o un'API di IA con un marchio può nascondere il framework sottostante, perciò le organizzazioni potrebbero dover chiedere ai fornitori di dichiarare quali modelli e componenti di inferenza utilizzano i loro servizi.