注册
登录
提问时间:2016/10/16 21:05:17
最近学习爬虫技术,看很多介绍爬虫都是用Python写的。
那么,Python做爬虫究竟比其他语言好在哪里呢?
1楼(未知网友)


这是一个什么样的人
2楼(未知网友)

python scrapy框架,专治各种不服~
3楼(未知网友)

最大的爬虫网站google早期就是用python写的。。
python有完善的框架
4楼(未知网友)

爬虫需要处理的一些问题:

发送HTTP请求

解析HTML源码
处理反爬虫机制
效率
......

说到底就是因为Python在处理上面的事情的时候有很多库,而且语法简洁,代码风骚,开发者的注意点可以集中在自己要做的事情上。
----------------------------------------
简单的不能再简单的粗略不严谨地回顾一下:

发送HTTP请求:
Python里我最喜欢用requests发送请求,发送请求的代码是这样的:

requests.get(URL) # GET
requests.post(URL, DATA) # POST
requests.put / delete / head / ... # 各种请求
# P.S.使用下面的代码处理Cookie更酸爽
requests.Session()
立即注册站大爷用户,免费试用全部产品
立即注册站大爷用户,免费试用全部产品