Un processo di moderazione è il sistema che una piattaforma utilizza per esaminare contenuti dannosi, segnalazioni degli utenti e attività degli account, quindi decidere se rimuoverli, limitarli, etichettarli o inoltrarli a un livello superiore. Può includere filtri automatici, revisori umani e canali di ricorso. Nella sicurezza informatica, la moderazione è importante perché gli abusi spesso si diffondono attraverso gli stessi strumenti usati per la comunicazione normale: post, commenti, chat, forum e messaggi diretti. Una moderazione debole può consentire a molestie, phishing, impersonificazione, contenuti estremisti o link contenenti malware di rimanere visibili abbastanza a lungo da causare danni.
Nelle difese reali, un buon processo di moderazione aiuta a fermare rapidamente gli abusi e a creare prove per ulteriori indagini. Può dare priorità alle segnalazioni urgenti, individuare i recidivi e proteggere gli utenti vulnerabili, come i minorenni. Gli attaccanti prendono di mira anche i sistemi di moderazione inondando le piattaforme di segnalazioni, aggirando i filtri basati su parole chiave o usando linguaggio codificato e immagini per eludere la revisione. Per questo motivo, una moderazione efficace non è solo pulizia dei contenuti; è un controllo di sicurezza che dipende da regole chiare, gestione rapida e un'escalation affidabile.