Il Protocollo di esclusione dei robot è la convenzione alla base di robots.txt, un file che indica agli agenti automatizzati quali parti di un sito dovrebbero o non dovrebbero eseguire il crawling. È un meccanismo di coordinamento, non un sistema di controllo degli accessi. I motori di ricerca, i crawler e molti agenti IA possono leggerlo per decidere come comportarsi, ma il file non autentica un visitatore né dimostra che un bot sia chi dice di essere.
Nella sicurezza informatica, questa distinzione è importante. I difensori talvolta usano robots.txt per ridurre il crawling accidentale di percorsi sensibili, limitare l'indicizzazione di aree di amministrazione o segnalare il comportamento di crawling preferito per bot benigni. Gli attaccanti, tuttavia, possono ignorarlo, falsificare uno user agent o usarlo per scoprire directory ed endpoint nascosti. Per questo motivo, le risorse sensibili richiedono ancora controlli reali come autenticazione, autorizzazione, limitazione della frequenza e registrazione. Considera il protocollo come una guida per l'automazione, non come una barriera di sicurezza.