Un proxy LLM è un servizio middleware che instrada le richieste tra le applicazioni e uno o più fornitori di modelli linguistici di grandi dimensioni. Invece di far sì che ogni app chiami direttamente ogni modello, il proxy può centralizzare l'autenticazione, il routing delle richieste, le quote, i controlli delle policy e la registrazione dei log. Questo rende più facile gestire molti team e fornitori attraverso un unico punto di controllo.
In ambito di sicurezza informatica, questo punto di controllo è altamente sensibile. Se un attaccante compromette il proxy, può rubare chiavi API, reindirizzare il traffico verso un modello non autorizzato, modificare prompt o risposte, oppure manomettere i log di audit. Un proxy può anche diventare un bersaglio della supply chain se il suo codice, il processo di build o l'immagine del container vengono alterati. I difensori lo proteggono con RBAC, SSO, gestione dei segreti, release firmate e un attento monitoraggio delle modifiche amministrative e dei comportamenti di routing anomali.