很多人都知道网络爬虫需要使用http代理IP，不然就没法持续工作；也有很多人在爬取一些信息时，不需要使用http代理IP，就可以轻松的完成任务，这是为什么呢？

网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。当爬虫任务工作量比较大的时候，那么单位时间内请求目标网站的频率就会很大，这会对目标网站服务器造成很大的压力，让网站服务器变慢，甚至超时，宕机等。

网站管理员为了避免这种情况的发生，将会制定一系列的规则，俗称反爬虫策略，比如单个代理IP单位时间内允许最多访问多少次，如果超过了这个阈值，就会对这个IP进行限制访问。这也是为什么很多人在爬取一些信息时，不需要使用http代理IP的原因，因为他们的任务量很小，不会触发目标网站设置的阈值，可以安然无恙的完成任务。

如果爬虫任务工作量非常大时，又要及时完成工作任务时，那么就必须使用http代理IP协助工作了，否则触发了反爬虫策略将会无法进行工作。在尽量不触发目标网站访问阈值的情况下，勤快的切换http代理IP，让工作可以稳定持续的进下去，当然也要悠着点，不能给目标网站造成太大的压力。

以上就是http代理IP与网络爬虫的关系，当网络爬虫工作任务量比较大的时候，http代理就要派上用场了。