网络爬虫协议robots.txt

本文主要是介绍网络爬虫协议robots.txt，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

bobots.txt 文件位置：

网站根目录：/var/www/html/robots.txt

文件内容：

User-agent: * 
Disallow: /?* 
Disallow: /pop/*.html 
Disallow: /pinpai/*.html?* 
User-agent: EtaoSpider 
Disallow: / 
User-agent: HuihuiSpider 
Disallow: / 
User-agent: GwdangSpider 
Disallow: / 
User-agent: WochachaSpider 
Allow: /

若某网站无robots.txt文件，即默认对于爬虫无限制

而实际上，robots协议只是一个说明文件，指出需遵守的爬虫协议，并没有实际的限制效果

这篇关于网络爬虫协议robots.txt的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！