Il crawling è il recupero automatico di pagine web da parte di un bot di un motore di ricerca, spesso chiamato crawler o spider. Il bot segue link o altri segnali di scoperta per recuperare il contenuto della pagina, in modo che il motore di ricerca possa in seguito decidere se indicizzarla e mostrarla nei risultati di ricerca.
Nella sicurezza informatica, il crawling è importante perché una pagina può essere raggiungibile senza essere pensata per la scoperta pubblica. Se un link di condivisione, un documento o una pagina amministrativa sono crawlable, può diventare più facile trovarli tramite la ricerca, aumentando l'esposizione oltre il destinatario originale. I difensori usano controlli come direttive noindex, autenticazione e una progettazione attenta dei link per limitare ciò a cui i crawler possono accedere. Anche gli attaccanti usano strumenti simili al crawling per enumerare i siti, mappare le pagine nascoste e individuare dati esposti.