网络爬虫的主要功能是抓取互联网上公开的网页信息，为大数据提供数据支撑。网络爬虫的日常工作量一般比较大，毕竟是“大”数据。因此，网络爬虫一般会选择大量的高质量代理IP来提高工作效率，这是为什么呢？

一、提高工作效率

使用高质量稳定的HTTP代理IP可以事半功倍，因为大部分的反爬虫策略往往是限制访问的频率及总次数，比如某网站限制一个IP一天只能访问1000次，1分钟内最多只能访问10次，如果没有代理IP，意味着，每天只能爬取1000个页面，还只能慢悠悠的爬，对于大工作量的爬虫来说，那无疑是噩梦，这时候也只有高质量的HTTP代理IP来救场了。

二、持续稳定的工作

使用高质量的代理IP可以持续稳定且高效的进行工作，低质量的、不稳定的HTTP代理IP对爬虫工作效率并没有太大的提升，甚至还会拖累。比如大家比较喜欢的“免费”代理IP，不用花一分钱，但用的时候会很绝望，也许你找了十万八千个免费代理IP，真正能用的只有四千八百个，真正快的也许只有三百六十个，并且稳定的也许有一百零八个。

综上所述，高质量代理IP可以提供网络爬虫的工作效率，并且能持续稳定的进行工作，是网络爬虫的好帮手。