Un'API di inferenza è un'interfaccia programmatica che consente a un'applicazione di inviare prompt o altri input a un modello di IA e di riceverne l'output. Gestisce comunemente le richieste ai modelli ospitati, con accesso controllato tramite credenziali e autorizzazioni cloud.
Nella sicurezza informatica, un'API di inferenza è sia una risorsa da proteggere sia un punto da monitorare. Se un aggressore ruba una chiave API o compromette un'identità cloud autorizzata a usare il servizio, potrebbe inviare richieste non autorizzate e generare addebiti basati sull'utilizzo. I difensori possono ridurre questo rischio applicando il principio del privilegio minimo, proteggendo le credenziali e rendendole di breve durata, limitando l'accesso ai modelli e impostando avvisi per volumi di richieste, attivazioni del servizio o spese insoliti.