当我们爬取某网站时，爬着爬着，突然IP被封了，爬不了了，可谓相当的郁闷，如何解决这样的问题呢？ 主要的办法有两种，一种是改变访问频率，尽量模拟用户行为，一种是使用大量的代理IP。 模拟用户行为主要是这三方面： 1、UserAgent经常换一换； 2、访问时间间隔设长一点，访问时间设置为随机数； 3、 ...
中国的互联网发展时间并不长，但发展速度无疑是众国家中最快的一个。伴随着大数据时代蓬勃发展，给各行各业带来了不少冲击和全新机遇。爬虫工作者作为大数据的数据来源的主要输出者，共效率非常重要，而最影响爬虫工作的效率的除了合理的程序设计，无疑是代理IP。 工欲善其事必先利其器，要想更有效的完成爬虫工作，好的 ...
现在越来越多的网站都采用了https协议，据说这样比较安全，导致曾经火爆的HTTP代理IP也有点力不从心了，很多用户都要求https代理IP了，这样才能更安全的上网了，那么这一切到底是为什么呢？ HTTPS(Secure Hypertext Transfer Protocol)安全超文本传输协议 它 ...
我们知道，当我们上网时，我们的真实IP可能会被泄露，当被别有用心的人获取到时则可能会对我们造成一些伤害。而如果使用了代理IP上网后，则完美的隐藏了我们的本机真实IP，多加了一份安全保障。为什么说使用代理IP可以让上网更安全呢？ 代理服务器的原理相当于一个连接客户端和远程服务器的一个“中转站”，当我们 ...
随着互联网的发展，代理IP的需求也越来越大，代理IP的使用也越来越广泛。我们时常会有这样的疑问，该如何识别是否使用代理IP呢说到这里就有必要先说下代理IP的匿名级别了，代理IP的匿名级别分别有三种，透明代理、普通匿名代理、高匿名代理。 这三种匿名级别有什么区别呢？使用透明代理，代理服务器会将您的信息 ...
有朋友会有这样的疑问：使用代理IP访问https的网站，虽然浏览器会显示当前通信已经加密，但是由于使用的是代理IP，本机首先发送数据到代理服务器，代理服务器与https的网站之间是加密通信，代理服务器将我们需要的内容再发送到本机，而数据在本机和代理服务器之间的通信并不是经过加密的，这样是否就不安全了 ...
请求headers的Accept-Encoding字段表示浏览器告诉服务器自己支持的压缩算法（目前最多的是gzip），如果服务器开启了压缩，返回时会对响应体进行压缩，爬虫需要自己解压。 过去我们常需要获取的内容主要来源于网页html文档本身，也就是说，我们决定进行抓取的时候，都是html中包含的内容 ...
今天碰到一个requests.exceptions.SSLError EOF occurred in violation of protocol (_ssl.c749)的问题，查阅stackoverflow，才知道原来是requests在发送请求的时候，会要求ssl的证书，但是我请求的站点可能是数字 ...
所谓爬取流程，就是按照什么样的规则顺序去爬。在爬取任务不大的情况下，爬取的流程控制不会太麻烦，很多爬取框架都已经帮你做好了，如scrapy，只需要自己实现解析的代码。 但在爬取一些大型网站时，例如全网抓取京东的评论，微博所有人的信息，关注关系等等，这种上十亿到百亿次设置千亿次的请求必须考虑效率，否则 ...
我们常说爬虫其实就是一堆的http(s)请求，找到待爬取的链接，然后发送一个请求包，得到一个返回包，当然，也有HTTP长连接(keep-alive)或h5中基于stream的websocket协议。 所以核心的几个要素就是： 1、url 2、请求header、body 3、响应herder、内容 ...
传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。 然后，它将根据一定的搜 ...
随着网络的迅猛发展，越来越多的人投身于互联网行业，对于经常做网络业务的人来说，代理IP可是一大得力助手，为什么这么说呢？因为在做网络业务中，经常会遇到限制访问的情况，举个例子，当爬取一个页面太频繁了就会限制访问，当在一个平台短时间发了太多帖子就会删帖甚至封号，当遇到这样的问题就需要代理IP闪亮登场了 ...
随着互联网的迅猛发展，爬虫工作日益重要，而爬虫工作者一般都绕不过代理IP这个问题，为什么呢，这是因为在网络爬虫抓取信息的过程中，抓取频率高过了目标网站的设置阀值，将会被禁止访问。那么这个问题如何解决呢，其实也很简单，那就是使用代理IP。那么代理IP哪里来呢？一般获取代理IP的方式有以下三种，让我们一 ...
有很多朋友在上网的时候，打开某网页时会出现400 Bad Request的图样，大部分的人会以为自己电脑已中毒，其实不然，据我所知，有以下几种可能性以及解决办法。 一、有可能你所发出的指令不正确，需要更正自己所要查询的地点。 二、检查一下DNS是否错误，需要提供电脑更完整的模式数据。 三、你所 ...
互联网发展速度越来越快，各种各样的人才通过网络展现自己的才能，可谓百家争鸣百花齐放。是金子在哪里都会发光，有才华的人在网络上也一样受人崇拜、追捧，拥有庞大的粉丝量。但有些人明明很普通，很一般，他们也有数量庞大的粉丝，这是为什么呢？ 其实，这归根于两个字：刷粉。何为刷粉，就是使用一些技术手段将粉丝量快 ...
国家高新技术企业证书编号：GR202321001563
增值电信经营许可证： 辽B2-20180026
互联网虚拟专用网业务许可证：B1-20181940
公司地址：沈阳市浑南区上深沟村沈阳国际软件园F7座
