大数据时代来临，网络爬虫也日益火爆，各种爬虫框架也层出不穷，今天我们来看看三款常用的PHP爬虫框架，看看哪种更强大。一、 phpQuery优势：类似jquery的强大搜索DOM的能力。 pq()是一个功能强大的搜索DOM的方法，跟jQuery的$()如出一辙，jQuery的选择器基本上都能使用在ph ...
一、多线程。爬虫的工作量往往非常巨大，单线程太慢了，往往需要多线程，这里给个简单的线程池模板 这个程序只是简单地打印了1-10，但是可以看出是并发的。虽然说python的多线程很鸡肋，但是对于爬虫这种网络频繁型，还是能一定程度提高效率的。from threading import Threadfro ...
在爬虫工作的过程中，我们总能会遇到一些问题，比如 407 authentication required ，这个是授权问题，比如，HTTP Error 403: Forbidden，这个可能是被反爬虫识别了，被目标服务器拒绝请求。那么403 Forbidden问题该怎么解决呢？这是很多朋友也会经常遇 ...
爬虫在开发过程中也有很多复用的过程，这里先总结一下基本抓取网页和cookie处理方法，以后也能省些事情。一、基本抓取网页1、get方法import urllib2url "http://www.baidu.com"respons = urllib2.urlopen(url)pri ...
国家高新技术企业证书编号：GR202321001563
增值电信经营许可证： 辽B2-20180026
互联网虚拟专用网业务许可证：B1-20181940
公司地址：沈阳市浑南区上深沟村沈阳国际软件园F7座
