Un'applicazione LLM è un software che usa un modello linguistico di grandi dimensioni per elaborare, generare, riassumere o classificare testo. Può funzionare come chatbot, scanner di contenuti, revisore di documenti oppure come parte di un agente automatizzato che può chiamare strumenti, cercare file o inviare risposte.
Nella sicurezza informatica, le applicazioni LLM sono importanti perché spesso leggono input non attendibili. Se al modello viene fornito testo controllato dall'attaccante, questo può provare a indirizzare il modello con un prompt injection, causando classificazioni errate, istruzioni nascoste o un uso non sicuro degli strumenti. Questo diventa particolarmente rischioso quando l'applicazione collega il modello a email, accesso web, API o altre azioni con privilegi. Le difese includono separare le istruzioni dai dati, limitare i permessi degli strumenti, richiedere l'approvazione umana per i passaggi sensibili e usare controlli deterministici per le decisioni ad alto rischio.