1楼（未知网友）

第一次受邀，关键我还是一个在爬虫之路上爬行的新手，心里很激动。随着互联网的急速发展，大数据的趋势不可阻挡的。获取数据并对其进行分析并向用户呈现分析结果也是数据公司服务的发展趋势，所以一切的一切都在于数据的海量性和准确性。巧妇难为无米之炊，数据公司的核心竞争力也在于其强大的数据存储能力和数据获取能力，你现在还觉得没有钱途么？

2楼（未知网友）

为什么需要矿工？
因为不是每个瓮都是BAT，而即使是BAT也需要其它家的数据。有金矿的羡慕有钻石矿的，钻石矿还羡慕有石油天然气的。。。

一个能高效率、低成本、指哪爬哪并结构化存储+增量更新的矿工也是有技术含量的活吧。

3楼（站大爷用户）

就说一点，立志做大数据，甚至人工智能的学生或职场新人，除了找API之外，就只能自己去爬了，这是数据菜鸟做到数据geek的必由之路。

4楼（未知网友）

所以，最好跟着拥有金矿，钻石矿的主，别被沙子蒙蔽了眼睛！

5楼（站大爷用户）

想多了 自寻烦恼

6楼（未知网友）

我不知道为什么你这么悲观，我自己就是做爬虫的，带了一个团队专门做爬虫。 公司也有数据挖掘的部门，离我们很近。
我得到的感觉是， 再好的挖掘技术，比不上增加一个有效的数据维度。
而新的维度，更容易被我们发现，而不是做分析的。
就算用个很简单的决策树，维度多了一个跑得结果要好很多。
至于怎么增加维度，那就是眼光问题，和你会不会数学无关。和你是不是一个喜欢从众的人有关，越被集体影响越不太可能发现新的维度。
来我这里面试的，大部分做爬虫的都想之后从事数据挖掘，他们都是被人工智能洗脑严重，根本不懂人工智能要怎么样产生。

我觉得你不懂统计也没关系， 可以往基础走。 搭建分布式数据分析框架，分布式爬虫,分布式储存解决方案。不管哪种，现在是搞数据挖掘的多，会搭建（或者说搭建的好）分布式处理系统的人少。
大学出来的人，都和导师搞过几个案例，做过几个外包分析项目， 有几个有经验做搭建的活?

你悲观是在于你根本没意识到自己的价值，从事最火的职业竟然无法意识到自己的价值，你应该换家公司了。
PS：（阿里，腾讯）他们不做爬虫吗？ 太天真了。

7楼（未知网友）

一个行业越成熟，分工就越明确，整个链条也越稳定。每个行业都有“矿工”，我是铁定了心只做大数据矿工，把爬虫做的最好用。

就像一部智能手机，高端的技术浓缩在几个芯片中，研发不成那个芯片，能做成富士康也很了不起。

所以，最重要的是选定行业位置，站住了