爬虫为了对抗反爬虫策略，设置User-Agent和代理IP是必须的一项工作，常见的一些User-Agent这里就不再赘述了，之前写过一篇《收集一些常见浏览器的User Agent》，可以参考一下，那么Python如何设置User-Agent和代理IP呢？一、设置User-Agent1、创建Reque ...
在爬虫工作过程中，经常会被目标网站禁止访问，但又找不到原因，这是令人非常恼火的事情。一般来说，目标网站的反爬虫策略都是依靠IP来标识爬虫的，很多时候，我们访问网站的IP地址会被记录，当服务器认为这个IP是爬虫，那么就会限制或者禁止此IP访问。被限制IP最常见的一个原因是抓取频率过快，超过了目标网站所 ...
Http缓存机制是 Web 性能优化的重要手段，浏览器会对请求的静态文件进行缓存。浏览器缓存是浏览器在本地磁盘对用户最近请求过的文档进行存储，当访问者再次访问同一页面时，浏览器就可以直接从本地磁盘加载文档。HTTP中的缓存机制按照向服务器发送请求来分类可以分为两种：强制缓存和对比缓存。一、强制缓存在 ...
如今从网上抓取数据看似非常容易，有许多开源库和框架、可视化抓取工具和数据提取工具，可以很容易地从一个网站上抓取数据。但是，当你想大规模地搜索网站时，很快就会感觉到非常棘手。与标准的抓取网页应用程序不同，大规模抓取数据将面临一系列独特的挑战，这使得网页抓取异常艰难。从本质上来说，这些困难可以归结为两个 ...
互联网上的网页数据是海量的，爬虫的工作量是巨大的，所以爬虫程序的性能是非常重要的。不同的应用对应的爬虫也各不相同，相应的策略也不相同，那么优秀的爬虫具备哪些特性呢？一、高性能这里的高性能指的是指爬虫的高效性、稳定性、持续性，单位时间内能够爬取的网页越多，同时又能持续稳定的爬取，那么爬虫的性能就越高。 ...
爬虫技术就是一个高效的下载系统，能够将海量的网页数据传送到本地，在本地形成互联网网页的镜像备份。根据具体应用的不同，爬虫系统在许多方面存在差异，大体而已，可以将爬虫系统分为如下 3 种类型：一、批量型爬虫：批量型爬虫有比较明确的抓取范围和目标，当爬虫达到这个设定的目标后，即停止抓取过程。至于具体目标 ...
urllib是python3 网络爬虫的核心模块，主要有以下功能：网页请求、响应获取、代理IP设置、cookie设置、异常处理、URL解析等。爬虫所需要的功能，基本上在urllib中都能找到。urllib中主要有这4个模块：request，error，parse，robotparser。而最重要的就 ...
大数据时代来临，网络爬虫日益火爆，不少朋友都纷纷开始学习，准备入行了，那么在学习爬虫开发之前需要先了解哪些知识呢？一、HTTP基本原理由客户端向服务端发起，可以分为4个部分：请求方法（Request Methon）、请求的网址（Resquest URL）、请求头（Request Headers）、请 ...
大数据时代来临，爬虫工作日益重要，各种采集工具也应运而生，无论国内外，市面上都出现了许多技术不一、良莠不齐的采集软件，今天就分享几款国内比较主流的采集工具，大家看看有没有适合的。一、火车头采集器火车头作为采集界的老前辈，我们火车头是一款互联网数据抓取、处理、分析，挖掘软件，可以抓取网页上散乱分布的数 ...
SOCKS是一种网络传输协议，主要用于客户端与外网服务器之间通讯的中间传递。sock5协议没有规定加密，所以是明文传输，当然也可以搭配ssl加密。由于网上的信息传输都是运用tcp或udp进行的，所以使用socks5代理可以办到网上所能办到的一切，因为sock5既支持TCP协议又支持UDP协议。当然， ...
e-Border是一款实用的网络代理软件，支持socks4和socks5代理，同时支持qq和一些浏览器，有了eBorder就可以方便地浏览一些教育网或者图书馆网络的资料了。今天我们来看看e-Border应该怎么使用。一、下载安装1、百度搜索，在各大下载站均有下载，不习惯英文版的推荐下载汉化版；2、下 ...
ProxyCap是一款简单、实用的代理服务器工具，它能让你所有的应用程序通过HTTP、HTTPS、SOCKS4、SOCKS5、SSH等代理服务器来访问外部网络，支持指定某个应用程序使用某个代理，也可以给某个代理限定目标IP、主机名、Port。一、安装介绍1、下载软件压缩包文件，首先点击“pcap50 ...
在上一篇文章《socks5代理IP工具Proxifier的使用教程》我们了解了怎么通过Proxifier工具来使用socks5代理IP，今天主要介绍另外一款功能非常强大的工具——SocksCap。 SocksCap64是一款免费的64位SOCKS代理软件，它可以使Windows网络应用程序通过SOC ...
国家高新技术企业证书编号：GR202321001563
增值电信经营许可证： 辽B2-20180026
互联网虚拟专用网业务许可证：B1-20181940
公司地址：沈阳市浑南区上深沟村沈阳国际软件园F7座
