Il crawling limitato è la pratica di restringere il crawling web automatizzato mediante regole come domini consentiti, profondità di scansione, modelli di URL, numero di richieste o finestre temporali. Impedisce a un crawler di vagare per l'intero internet e rende il suo comportamento più prevedibile e più facile da governare.
Nella sicurezza informatica, il crawling limitato è importante perché molti strumenti legittimi usano il crawling per il monitoraggio, l'arricchimento e l'estrazione di contenuti, ma gli stessi meccanismi possono sovraccaricare i server o sconfinare in una raccolta non autorizzata se i controlli sono deboli. I difensori usano dei confini per ridurre il carico, rispettare le policy di accesso e impedire che i dati vengano prelevati da luoghi che non dovrebbero essere raggiunti. Gli attaccanti possono tentare di aggirare questi limiti con redirect, trucchi sui parametri o l'espansione dei percorsi, quindi gli operatori dovrebbero applicare l'ambito lato server, usare il rate limiting e registrare l'attività di crawling per la revisione.