注册
登录
提问时间:2016/11/27 16:29:29
最近老被某博客封锁我的ip
1楼(未知网友)

某博客有防爬虫的机制的话,

解决的思路无非是,


调整爬虫抓取的频率,保证单IP也能够长期稳定的抓取
用更多的IP来并发提高抓取效率。
企业的话,当然就是去买IP啦。
个人的话,申请些云主机。用ADSL/光纤拨号上网的话,可以定期断开连接,重新拨号获得新IP
2楼(未知网友)

................现在什么年代了,现在各大网站的反爬虫机制越来越强,你们爬这些站,最好用分布式高匿名代理IP去爬这些。一般地域分布越广越好。
我用的是站大爷代理,还可以
http://ip.zdaye.com
立即注册站大爷用户,免费试用全部产品
立即注册站大爷用户,免费试用全部产品