Il livellamento dell'inferenza è una strategia di instradamento dei modelli che invia i compiti IA semplici a modelli più economici e più piccoli, e riserva modelli più potenti ai ragionamenti più difficili. In pratica, un orchestratore può usare un modello leggero per classificazione, recupero, sintesi o convalida, quindi escalare solo i passaggi complessi o ambigui a un modello all'avanguardia. Questo riduce la spesa di calcolo e la latenza senza rinunciare alla qualità dove conta.
Nella sicurezza informatica, il livellamento dell'inferenza è importante perché i sistemi agentici possono essere guidati attraverso molti passaggi, e ogni passaggio è sia un costo sia una decisione di sicurezza. I difensori lo usano per limitare il consumo di token, ridurre la superficie d'attacco degli agenti che usano strumenti e mantenere efficienti i flussi di lavoro di sicurezza di routine. Anche gli aggressori possono abusare di un instradamento progettato male sommergendo i sistemi con casi limite che costringono a costose escalation, oppure sondando quali attività attivano modelli più forti e controlli più rigorosi. Un buon livellamento abbina la selezione del modello a permessi, registrazione e condizioni di arresto, in modo che il controllo dei costi e il controllo del rischio lavorino insieme.