La calibrazione della confidenza è l'allineamento tra la certezza dichiarata di un modello e l'accuratezza reale del suo output. Un sistema ben calibrato dovrebbe esprimere alta confidenza solo quando è di solito corretto, e bassa confidenza quando la sua risposta è incerta o incompleta. Nella sicurezza informatica, questo è importante perché gli analisti e gli strumenti automatizzati spesso usano la confidenza del modello per decidere se bloccare il traffico, far escalare un avviso o chiedere una revisione umana.
Una calibrazione scarsa può essere pericolosa sia in attacco sia in difesa. Un modello troppo sicuro di sé può etichettare come sicura un'e-mail di phishing, non rilevare malware o generare consigli di remediation fuorvianti con una certezza ingiustificata. I difensori usano la calibrazione per migliorare il triage, indirizzare i rilevamenti incerti agli analisti e ridurre il bias da automazione. Anche gli attaccanti possono trarne vantaggio quando esche generate o falsi report sembrano più certi di quanto non siano in realtà, rendendo l'inganno più facile da ritenere affidabile. Una buona calibrazione supporta decisioni più sicure con supervisione umana.