robots.txt 能够封禁网络爬虫吗？
比如我的爬虫叫xiaopapa001，发现xiaopapa001在某站的robots.txt里封了，我就改名叫xiaopapa002，总之你若封，我就改，拿我有辙么？
由此问题引申：http://www.zhihu.com/question/19883804
1楼（匿名用户）
那个东西只是个君子协定，他封你，你User-Agent改成IE或firefox呗。。
2楼（未知网友）
robot.txt只是爬虫禁抓协议，user-agent表示禁止哪个爬虫，disallow告诉爬出那个禁止抓取的目录。
如果爬虫够友好的话，会遵守网站的robot.txt内容。
3楼（未知网友）
搜索大站都守规矩吧。。
4楼（站大爷用户）
君子协定，主要看你自己了！
5楼（未知网友）
防君子不防小人
6楼（未知网友）
这个只是一个道义上约定俗成的东西，没有技术约束力
7楼（未知网友）
这不是封爬虫的。刘一丁解释很到位。君子协定，对流氓无效。
