Un crawler è un software che visita automaticamente le pagine web e segue i link da una pagina alla successiva. I motori di ricerca usano i crawler per scoprire e indicizzare i contenuti, ma molti altri sistemi fanno la stessa cosa, inclusi strumenti di archiviazione, bot di monitoraggio e raccoglitori di dati.
Nella sicurezza informatica, i crawler sono importanti perché possono generare un carico elevato anche quando non sono dannosi. Un picco di richieste automatizzate può consumare larghezza di banda, rallentare le risposte delle pagine e mettere sotto pressione i siti piccoli progettati per il traffico umano. I difensori spesso gestiscono l'attività dei crawler con limitazione della frequenza, caching, filtraggio dei bot e monitoraggio delle richieste. Negli attacchi, il modello può sembrare inizialmente una normale navigazione, ma il volume e la velocità rivelano un comportamento macchina che può compromettere la disponibilità o consentire una raccolta di contenuti su larga scala.