注册
登录
提问时间:2017/12/30 17:38:23
当我们爬取某网站时,爬着爬着,突然IP被封了,爬不了了,可谓相当的郁闷,如何解决这样的问题呢?

主要的办法有两种,一种是改变访问频率,尽量模拟用户行为,一种是使用大量的代理IP。

模拟用户行为主要是这三方面:

1、UserAgent经常换一换;
2、访问时间间隔设长一点,访问时间设置为随机数;
3、访问页面的顺序也可以随机着来

这样做只是要让对方的反爬以为是人在访问,避免被封IP。

使用大量的代理IP的原理很简单,就是封了一个IP,还有千千万万个IP,这种解决方案,需要有大量的代理IP资源。

站大爷代理IP平台提供海量IP资源,iP库24小时累计流水数十万IP,放心使用;有效率极高,连接有效率高达95-100,高枕无忧,连接速度快,全面支持HTTPs,全部都是高匿名代理IP。

站大爷代理IP数量多,支持API提取,不限制开发语言,支持各种系统终端渠道接入,关键效果显著,可以助你突破网站反爬机制。欢迎广大顾客朋友们前来咨询。
立即注册站大爷用户,免费试用全部产品
立即注册站大爷用户,免费试用全部产品