Il serving disaggregato è un'architettura di inferenza dei modelli che suddivide il serving in fasi separate, di solito prefill e decoding, ed esegue ciascuna su risorse diverse. Il prefill elabora il prompt completo e costruisce lo stato interno, mentre il decoding genera i token uno alla volta. Separando questi carichi di lavoro, gli operatori possono scalare ciascuna fase in modo indipendente e assegnare l'hardware in base al relativo collo di bottiglia, come la memoria per il prefill e il calcolo a bassa latenza per il decoding.
Questo è importante nella sicurezza informatica perché gli endpoint di IA possono diventare bersagli di disponibilità e di costo. Gli aggressori possono inviare prompt troppo grandi, forzare ritentativi ripetuti o creare pressione in coda che sovraccarica il costoso percorso di prefill. Il serving disaggregato aiuta i difensori a ridurre il raggio d'impatto, migliorare l'isolamento e mantenere disponibili le risposte interattive sotto carico. Supporta anche un monitoraggio e una limitazione più efficaci, poiché ciascuna fase espone segnali di prestazioni e modalità di guasto diversi. In pratica, viene usato in sistemi di IA ad alto throughput in cui affidabilità, controllo delle risorse e resistenza agli abusi sono importanti quanto la qualità grezza del modello.