L'efficienza dell'inferenza è la capacità di un modello di machine learning di produrre output usando meno calcolo, minore latenza o entrambi. In pratica, dipende da fattori come la dimensione del modello, il batching, la cache, la quantizzazione e da quanto contesto del prompt deve essere elaborato per ogni richiesta.
Nella sicurezza informatica, l'efficienza dell'inferenza è importante perché influisce su costi, velocità e scala. I difensori vogliono un'inferenza efficiente per la classificazione di malware, l'analisi dei log, il triage degli allarmi e i chatbot che devono rispondere rapidamente sotto carico elevato. Anche gli aggressori ne traggono vantaggio: modelli efficienti consentono loro di generare email di phishing, testo di malware evasivo o riepiloghi di ricognizione in volumi maggiori e a costi inferiori. I team di sicurezza spesso valutano i compromessi in termini di efficienza quando scelgono servizi di AI ospitati, perché un modello più veloce o meno costoso può ridurre i controlli, mentre una distribuzione più controllata può migliorare la governance ma richiedere più infrastruttura.