Sabato 24 Ottobre 2026 14:44:23 GMT+02:00

Netcrook

HomeManifesto
News
Techcrook
Geocrook
WikicrookTeamAppContatti
ItalianoEnglish

WIKICROOK

Valutazione basata su tracce

Revisione del comportamento passo dopo passo di un agente AI per individuare azioni non sicure o violazioni delle policy.

La valutazione basata su tracce è la revisione dell'intero percorso di azioni di un agente AI: prompt, chiamate agli strumenti, decisioni intermedie, output e passaggi di follow-up. Invece di giudicare solo la risposta finale, i difensori esaminano come l'agente ci sia arrivato. Questo è particolarmente utile per sistemi agentici che possono navigare sul web, chiamare API, spostare file o attivare flussi di lavoro.

Nel cybersecurity, la valutazione basata su tracce aiuta a rilevare comportamenti non sicuri che un benchmark normale può non individuare. Un modello può sembrare sicuro in un test statico ma seguire comunque istruzioni malevole, eccedere nei permessi, divulgare dati o compiere azioni non autorizzate quando interagisce con strumenti reali. I team di sicurezza usano le tracce per individuare prompt injection, uso improprio dei privilegi, violazioni delle policy e una gestione inadeguata dell'escalation. Le stesse tracce supportano anche l'analisi degli incidenti, perché mostrano esattamente dove le protezioni hanno fallito e quale controllo dovrebbe essere rafforzato: filtro degli input, permessi degli strumenti, monitoraggio o approvazione umana.

← indice WIKICROOK