L'accesso di crawling è l'autorizzazione che un sito web concede a un bot di ricerca o ad altro agente automatizzato per recuperare il contenuto di una pagina. Di solito è controllato con robots.txt, meta tag robots, barriere di autenticazione e policy lato server. In pratica, l'accesso di crawling determina se un crawler può richiedere un URL, seguire i link e raccogliere testo per l'indicizzazione, le anteprime o i riepiloghi.
Nella sicurezza informatica, l'accesso di crawling è importante perché può ridurre l'esposizione oppure crearla. Un accesso eccessivo può consentire agli scraper di raccogliere dati pubblici su larga scala, mappare la struttura del sito o estrarre metadati sensibili che non dovrebbero essere distribuiti ampiamente. Un accesso troppo limitato può bloccare l'indicizzazione legittima dei motori di ricerca o interrompere gli strumenti di monitoraggio. I difensori usano regole di crawling precise, limitazione della frequenza e registri per individuare bot abusivi, mentre gli aggressori spesso mascherano gli scraper da crawler normali per eludere i controlli. La gestione dell'accesso di crawling fa quindi parte sia della governance delle informazioni sia della difesa del perimetro.