Un task di classificazione è un'attività di machine learning in cui un sistema assegna un input a un'etichetta, una categoria o un punteggio. Nella sicurezza, ciò può significare contrassegnare un'email come phishing, un file come malware, un accesso come sospetto o un messaggio come spam. Il modello può restituire una risposta binaria, un'etichetta multiclass o una probabilità che supporta un'altra regola o flusso di lavoro.
Questo è importante perché molte difese dipendono dalla classificazione per filtrare il traffico, dare priorità agli avvisi e automatizzare la risposta. Se il classificatore è debole, gli aggressori possono sfruttarlo con tecniche di evasione, contenuti avversari o dati di addestramento compromessi. I falsi positivi possono bloccare attività legittime, mentre i falsi negativi lasciano passare attività dannose. Una buona pratica di sicurezza include test con campioni di attacco realistici, monitoraggio dei tassi di errore, mantenimento della revisione umana per le decisioni ad alto impatto e limitazione del grado di fiducia che qualsiasi singolo modello riceve.