如何能够使爬虫器获取更广阔的ip资源,而不被封锁?
最近老被某博客封锁我的ip
1楼(未知网友)
某博客有防爬虫的机制的话,
解决的思路无非是,
调整爬虫抓取的频率,保证单IP也能够长期稳定的抓取
用更多的IP来并发提高抓取效率。
企业的话,当然就是去买IP啦。
个人的话,申请些云主机。用ADSL/光纤拨号上网的话,可以定期断开连接,重新拨号获得新IP
2楼(未知网友)
................现在什么年代了,现在各大网站的反爬虫机制越来越强,你们爬这些站,最好用分布式高匿名代理IP去爬这些。一般地域分布越广越好。
我用的是站大爷代理,还可以
http://ip.zdaye.com