La crawlability è la capacità di un bot dei motori di ricerca di raggiungere e ispezionare una pagina o una risorsa. Se un URL è crawlable, i crawler automatizzati possono seguirlo, leggere il suo contenuto e potenzialmente aggiungerlo a un indice di ricerca. Se è bloccato, nascosto dietro autenticazione o contrassegnato con controlli come noindex, il bot non dovrebbe esporlo nei risultati di ricerca.
Nella sicurezza informatica, la crawlability è importante perché qualsiasi contenuto crawlable può diventare individuabile da estranei, inclusi documenti condivisi, pagine di test, pannelli di amministrazione o link a chat AI. Gli attaccanti usano query di ricerca e pagine accessibili ai crawler per trovare contenuti esposti senza violare un sistema. I difensori riducono il rischio proteggendo le risorse sensibili con controlli di accesso robusti, verificando le impostazioni robots e noindex ed evitando link pubblici per materiale privato. La crawlability non è di per sé una violazione, ma può trasformare un'esposizione accidentale in una prova ricercabile.