爬虫访问中，如何解决网站限制IP的问题？
开发了一个爬虫，布置在自己的服务器上，请求某网站的查询功能，然后抓取查询结果，结果访问才一会儿，就被提示封IP了。有什么好的解决方法吗？
感谢各位的回答，都挺好的！
1楼（站大爷用户）
尽可能的模拟用户行为：
1、UserAgent经常换一换；
2、访问时间间隔设长一点，访问时间设置为随机数；
3、访问页面的顺序也可以随机着来
2楼（未知网友）
不用自己做，直接买吧，http://api.datastory.com.cn
3楼（站大爷用户）
我一般是先构建出来一个可用的代理服务器池，然后每次访问时从里面挑一个可用的进行连接，这样把访问均匀分布可以大大降低被block的几率，而且可以随时更新不可用的代理服务器。
感兴趣的可以去我以前写的一段脚本上看一下：
kapythone/ProxyFactory · GitHub
4楼（未知网友）
用Tor啊！
5楼（未知网友）
1 user agent 伪装和轮换
2 使用代理 ip 和轮换
3 cookies 的处理，有的网站对登陆用户政策宽松些
友情提示：考虑爬虫给人家网站带来的负担，be a responsible crawler :)
6楼（未知网友）
ADSL + 脚本，监测是否被封，然后不断切换 ip
设置查询频率限制
正统的做法是调用该网站提供的服务接口。
7楼（未知网友）
提供几个思路：
1：曾经我用过几十个Goagent账号做代理爬淘宝数据，或许你可以买几十个vpn账号做代理。
2：用家用电脑做爬虫机器，用你家里的电脑做服务器 ， 以前写的一篇文章，通过一些设置，是可以从外网访问到你的家用电脑的。当然稳定性可能不太好，估计需要做更多的开发才能保证可靠。然后可以将代码部署到树莓派上，如果是大点的公司的话，每个员工帮帮忙，带回家部署上，估计就够了
8楼（未知网友）
之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。
经验如下：
1.IP必须需要，像@alswl 说的非常正确，ADSL。如果有条件，其实可以跟机房多申请外网IP。
2.在有外网IP的机器上，部署代理服务器。
3.你的程序，使用轮训替换代理服务器来访问想要采集的网站。
好处：
1.程序逻辑变化小，只需要代理功能。
2.根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。
3.就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。
9楼（未知网友）
有小部分网站的防范措施比较弱，可以伪装下IP，修改X-Forwarded-for（貌似这么拼。。。）即可绕过。
大部分网站么，如果要频繁抓取，一般还是要多IP。我比较喜欢的解决方案是国外VPS再配多IP，通过默认网关切换来实现IP切换，比HTTP代理高效得多，估计也比多数情况下的ADSL切换更高效。
国外IP均价是$1/IP/Month，像Burst等卖得便宜些，0.3刀左右。
最后，最简单最根本也最厚道的防封禁方法是，把抓取频率降低些。。。
10楼（未知网友）
8年多爬虫经验的人告诉你，国内ADSL是王道，多申请些线路，分布在多个不同的电信区局，能跨省跨市更好，自己写好断线重拨组件，自己写动态IP追踪服务，远程硬件重置（主要针对ADSL猫，防止其宕机），其余的任务分配，数据回收，都不是大问题。我的已经稳定运行了好几年了，妥妥的！
