那么,Python做爬虫究竟比其他语言好在哪里呢?
最近学习爬虫技术,看很多介绍爬虫都是用Python写的。
那么,Python做爬虫究竟比其他语言好在哪里呢?
1楼(未知网友)
这是一个什么样的人
2楼(未知网友)
python scrapy框架,专治各种不服~
3楼(未知网友)
最大的爬虫网站google早期就是用python写的。。
python有完善的框架
4楼(未知网友)
爬虫需要处理的一些问题:
发送HTTP请求
解析HTML源码
处理反爬虫机制
效率
......
说到底就是因为Python在处理上面的事情的时候有很多库,而且语法简洁,代码风骚,开发者的注意点可以集中在自己要做的事情上。
----------------------------------------
简单的不能再简单的粗略不严谨地回顾一下:
发送HTTP请求:
Python里我最喜欢用requests发送请求,发送请求的代码是这样的:
requests.get(URL) # GET
requests.post(URL, DATA) # POST
requests.put / delete / head / ... # 各种请求
# P.S.使用下面的代码处理Cookie更酸爽
requests.Session()