La calibrazione del modello è il processo di regolazione di un sistema di rilevamento in modo che i suoi punteggi di confidenza e i suoi avvisi siano allineati con la realtà. Un modello ben calibrato non si limita a etichettare qualcosa come “sospetto”; stima il rischio in un modo abbastanza affidabile da consentire agli utenti o agli strumenti di sicurezza di agire. In pratica, la calibrazione aiuta a decidere quando avvisare, quando bloccare e quando restare in silenzio.
Nella sicurezza informatica, la calibrazione è importante perché gli avvisi rumorosi vengono ignorati e gli avvisi deboli non rilevano le minacce reali. I filtri anti-phishing, i rilevatori di frodi e gli avvisi antitruffa sui dispositivi dipendono tutti da essa. Se un modello è troppo sicuro di sé, messaggi innocui possono essere segnalati troppo spesso e gli utenti perdono fiducia. Se è poco sicuro, i messaggi di truffa possono passare inosservati. Una buona calibrazione è particolarmente importante negli attacchi in rapida evoluzione, in cui i truffatori riscrivono continuamente i messaggi per eludere il rilevamento.