LiteLLM è un server proxy e un gateway per accedere ai grandi modelli linguistici tramite un unico punto di ingresso controllato. In pratica, può instradare le richieste verso diversi fornitori di modelli, gestire le chiavi API, applicare l'autenticazione ed esporre funzionalità di livello superiore come l'accesso agli strumenti per flussi di lavoro guidati dai modelli. Ponendosi davanti ai modelli, LiteLLM diventa parte del perimetro di fiducia di una distribuzione di IA.
Questo è importante perché i controlli di sicurezza al gateway determinano chi può usare i modelli e cosa può fare. Se l'autenticazione o l'autorizzazione falliscono, un attaccante potrebbe riuscire a raggiungere endpoint protetti dei modelli, abusare di credenziali di fatturazione o API, oppure invocare strumenti e integrazioni connesse come i servizi MCP. I difensori dovrebbero trattare LiteLLM come un'infrastruttura critica: mantenerlo aggiornato, limitare l'esposizione di rete, rivedere la logica di autenticazione di fallback e passthrough e monitorare i log alla ricerca di usi anomali dei token o richieste di strumenti. Negli attacchi, il gateway è spesso il punto più facile da aggirare per eludere i controlli; nelle difese, è il punto in cui l'accesso dovrebbe essere applicato in modo rigoroso.