La modalità multiprocesso è un design di distribuzione in cui la gestione della cache viene eseguita come processo o servizio separato dal motore di inferenza. Nei sistemi LLM, questo spesso significa che il livello di cache può essere aggiornato, condiviso o scalato in modo indipendente dall'esecuzione del modello.
Questo design può migliorare le prestazioni e la flessibilità operativa, ma crea anche un nuovo confine di sicurezza. Una volta che il servizio di cache è raggiungibile in rete, deve essere trattato come qualsiasi altra applicazione con privilegi: autenticata, isolata e limitata dalle policy di rete. Se un attaccante può interagire con l'interfaccia della cache, debolezze nell'analisi delle richieste, nella deserializzazione o nella gestione dei comandi possono portare ad accessi non autorizzati o persino all'esecuzione remota di codice. Gli difensori dovrebbero verificare se la modalità multiprocesso è abilitata, limitare l'esposizione agli host fidati, applicare il principio del privilegio minimo e separare il processo di cache da credenziali sensibili e servizi interni.