L'infrastruttura di valutazione è l'insieme di test, metodi di punteggio, set di dati e flussi di lavoro usati per giudicare un modello prima che venga distribuito. In pratica, trasforma impressioni soggettive in misurazioni ripetibili: accuratezza su un insieme di riferimento, latenza, lunghezza dell'output, qualità dei rifiuti e tassi di errore specifici per attività. Per i sistemi di IA, questo è importante perché un modello che appare forte in una demo può fallire su prompt reali, casi limite o ambienti vincolati.
Nella sicurezza informatica, l'infrastruttura di valutazione aiuta i team a verificare che un modello non divulghi segreti, non segua istruzioni malevole o non violi le policy quando è esposto a prompt injection e ad altri abusi. I difensori la usano per confrontare i candidati, monitorare le regressioni e dimostrare la conformità prima del rilascio. Gli aggressori possono sfruttare una valutazione debole ottimizzando i punteggi dei benchmark mentre nascondono comportamenti non sicuri, quindi le decisioni di produzione dovrebbero basarsi su test specifici per il carico di lavoro, registrazione e revisione, non solo sulle dichiarazioni del fornitore.