La classificazione dei prompt è il processo di ordinare le richieste AI in categorie in base al loro contenuto, intento, rischio o gestione richiesta. Un sistema potrebbe etichettare un prompt come benigno, sensibile, amministrativo, legato al codice o potenzialmente dannoso prima che la richiesta venga inviata a un modello o a uno strumento. Questo è utile perché non tutte le interazioni con l'AI dovrebbero essere trattate allo stesso modo: una domanda occasionale, una richiesta che include dati dei clienti e un prompt che chiede a un agente di eseguire comandi comportano implicazioni diverse in termini di sicurezza e conformità.
Nella sicurezza informatica, la classificazione dei prompt aiuta i difensori a monitorare l'uso dell'AI, applicare le policy e rilevare comportamenti insoliti. Può attivare controlli più rigorosi per i prompt sensibili, bloccare le richieste che sembrano esfiltrazione di dati o prompt injection e segnalare improvvisi aumenti di attività rischiosa da parte di un singolo account. Gli aggressori possono cercare di nascondere istruzioni malevole all'interno di testo dall'aspetto normale, quindi la classificazione viene spesso affiancata a controlli dell'identità, registrazione dei log e ispezione dei contenuti. Se usata bene, trasforma il traffico AI in un flusso di lavoro osservabile e governabile invece che in un canale opaco.