L'inferenza AI è la fase in cui un modello di machine learning addestrato viene eseguito su nuovi input per produrre una previsione, un punteggio, un'etichetta o un'altra decisione. L'addestramento costruisce il modello; l'inferenza lo utilizza. Negli ambienti di sicurezza, l'inferenza alimenta strumenti come la classificazione del malware, il rilevamento del phishing, il triage dei log, il punteggio delle anomalie e le funzionalità dell'assistente che riassumono gli avvisi o rispondono alle richieste degli analisti.
È importante perché l'inferenza trasforma la conoscenza del modello in output operativo, spesso su larga scala e sotto pressione di tempo. I difensori possono eseguire l'inferenza in locale su GPU o acceleratori dedicati per mantenere i dati on-premise e ridurre la latenza. Anche gli aggressori possono abusare dei servizi di inferenza sondandoli alla ricerca di comportamenti sensibili, forzando un numero eccessivo di richieste per aumentare i costi o usando gli output del modello per perfezionare le tecniche di evasione. Per le organizzazioni, prevedere il budget per la capacità di calcolo, il ciclo di vita dell'hardware e la capacità di elaborazione fa parte della pianificazione della sicurezza, poiché risorse di inferenza limitate possono rallentare il rilevamento e l'analisi.