前几天，有个朋友问我，站大爷的代理IP是高匿代理IP吗？我很肯定的回答他是的，接下来他问了一句我懵逼的话：你家的高匿代理有多高呢，太低了可不行，会被识别出来的。我们知道，代理ip按照匿名程度来分可以分为透明代理、普匿代理和高匿代理，透明代理会暴露自己的真实IP，普匿代理不会暴露自己的真实IP，但会暴 ...
别看网络爬虫现在这么火，其实做网络爬虫一点都不容易，辛辛苦苦写了个代码，爬着爬着就突然爬不动了，明明小心翼翼的绕过了反爬机制，可怎么又被另一个反爬机制给抓住了，正所谓明枪易躲，暗箭难防，有时候真的是很无奈，提升了效率吧，成功率就下降了，成功率上升了吧，效率就降低了。那么在成功率和效率之间如何抉择呢？ ...
作为爬虫工作者，抓包是一门最基础的学问，抓包的方法也有很多种，工具更是不胜其数，那么常用的抓包工具有哪些呢？1、HpingHping是最受欢迎和免费的抓包工具之一。它允许你修改和发送自定义的ICMP，UDP，TCP和原始IP数据包。此工具由网络管理员用于防火墙和网络的安全审计和测试。HPing可用于 ...
Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。下面用一张图来说明scrapy框架的工作流程：Scrapy Engine: 这是引擎，负责Spiders、ItemPip ...
一、428 Precondition Required (要求先决条件)先决条件是客户端发送 HTTP 请求时，必须要满足的一些预设条件。一个好的例子就是 If-None-Match 头，经常用在 GET 请求中。如果指定了 If-None-Match ，那么客户端只在响应中的 ETag 改变后才会 ...
我们知道，在爬虫工作中，一些需要登录的网站中的cookie设置很重要，一不留神就会被反爬虫策略识别，今天要说的是在scrapy框架中的几种设置cookie的方式。一、setting中设置cookie的方法1、当COOKIES_ENABLED是注释的时候，scrapy默认没有开启cookie；2、当C ...
很多时候，刚发布的文章没什么浏览量，为了吸引读者，很多朋友可能会使用代理IP来增加一些初始浏览量。我们知道，有些网站的文章并不是刷新几次就会增加几个浏览量，需要通过一些技术手段加上代理IP来实现。想要使用代理IP，就必须要有一个代理IP池，需要有一定数量的、有效的代理IP来支持，那么如何维护代理IP ...
国家高新技术企业证书编号：GR202321001563
增值电信经营许可证： 辽B2-20180026
互联网虚拟专用网业务许可证：B1-20181940
公司地址：沈阳市浑南区上深沟村沈阳国际软件园F7座
