大数据好找工作吗？企业在招什么样的大数据工程师？

短命女 2023-06-16 07:51 8阅读 0赞

大数据的就业行情到底怎么样？这个坑值得入吗？企业在招什么样的大数据工程师？

今天我们来看一位已经入行的前辈写的深入分析文章。

1、我眼中的大数据现状

其实个人在大数据这个坑中，细细算来时间也有3+年了，从一开始做大数据中心平台开发构建，到现在关注的数据上层应用挖掘。所以，基本上从数据收集->数据处理(离线实时，并且还勉强算是国内实时处理早期的实践者)->数据上层应用挖掘，这个链路都走了一遍。

并且加上手里一千多人的大数据圈子，发起组织线下技术沙龙等等经历，坑内里的做的并不算十分的多，但是通过一些交流，接触过的这方面的东西还是不少的。

所以，不至于有资格说对这个技术方向有啥定论，但是一些自己的看法见解还是有滴。

说起大数据，有个成语可以来形容一下它的现状：**遍地开花**！

如今，在国内，只要是个IT公司(说的是非传统行业)，出去的时候，感觉要是说自己公司没有涉足大数据都不好意思。所以，现在的情况大部分是这样的：一个创业公司哪怕只有十多人的开发团队，也非得整一个大数据小组出来，我们不止要做大数据离线处理，还要做离线处理，不止有数据分析报表，我们还得进行深度的数据挖掘，做到精准的个性化推荐，流弊的数据预测！

偶滴娘亲啊，寥寥数人，不止要搭起一整套完整的数据收集、数据传输、数据离线实时处理，不止要维护hadoop集群、spark集群、storm集群的稳定性，抽空还要做深层数据挖掘，还要研究工业化流弊的算法。你们招的这些人不是攻城狮啊，是神啊！这么流弊！

其实我并没有说这种做法一定是错的，只是行业现状真心很多这种情况。如今，**大数据确实是异常略微畸形的火爆**！至于说大数据这个技术方向为何会如此的爆炸，个人的观点可能和大部分的观点一样：**一方面是数据积累到一定程度了；****另一方面是大规模数据处理技术的日渐成熟，其中当然以hadoop生态为代表。**

![format_png][]

但在不久前，我曾和一个创业公司的COE聊过这个话题，他的观点很新颖。他反驳了我的观点，他说**中国现在之所以大数据遍地开花，是由于赚钱模式变了。**他说，在以前，随便搞点啥都能拉到一大堆投资，但现在经济形势不一样了，必须想其他新的触发点，那就是数据，并且围绕数据而产生新的利益点，这样，投资人才愿意投钱进来，所以是个公司都愿意和大数据沾点边，不然都不好意思出去说。如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣扣群：458数字345数字782，欢迎添加，私信管理员，了解课程介绍，获取学习资源

就个人而言，其实感觉他说的也挺有道理的，不过我依然保持自己的看法，只是两人看待事情的角度有些不一样，我是从技术的角度去解析这个情况，而他则更多从创业者的角度试图去解释这个事情。无关对错！ 就目前来说，业内大数据遍地开花这个情况确实是存在的，个人感觉大体上有如下的具体变化：

**1）涉足的数据处理方式上来说，大规模离线处理已经被玩坏了**，稍微有点实力的公司都已经开始离线、实时并行了(近一两年Storm、Spark强势崛起)；

**2）而在数据来源上，已经不再局限于自个的数据了**，越来越多的公司开始爬取互联网上的公共数据(我曾在《DT时代变革的反思》一文中比较详细的分析过这个数据新来源)； 而在数据的上层应用上，也已经不再局限于多维统计分析，渐渐得向用户画像、精准个性化推荐、业务的预测等方向靠拢(但实际上深层挖掘方面，国内还是很low的)；

2、大数据年份这东西

之前和朋友吃饭时聊的时候，他说到大数据这个技术方向的积累问题。他曾感叹到，**大数据这个方向还是缺少底蕴。**我问他为何这么说，他说你见过十年以上的大数据专家么？其他行业方向，比比皆是！我顿时无语，**大数据这个技术方向满打满算才发展不到六七年吧，上哪找十年以上的大数据专家去。**情况确实是这样的，基本可以分这几种情况吧：

1）在这个坑里，真正五年以上的大数据背景的人，已经可以算的上是半个专家了，业内绝对是稀有动物(所以，经常看到那种招聘简历写到十年以上大数据行业背景，我就笑了)；

2）而诸如三四年的，会点数据架构，又会点上层数据应用挖掘的，估计至少也能算的是半个中坚了，这种人不算太少，但也绝对不算多；

3）最多的是那种不到两年大数据行业背景的，特别是那种听闻大数据行情好，纷纷转过来一两年左右的，再就是那种一毕业就立志投身大数据行业的新人朋友，这类型的人应该是占据大数据从业人士中的绝大部分。

4）这个方向却是缺少累积的，经常在群中遇到那种号称是搞大数据的，然后问到：hadoop和storm哪个比较好？ 我的天呐，为何他们那么喜欢把两个不是一类东西放在一起比较？！我都无力吐槽了，就目前来说，大数据这个方向确实缺少底蕴，还略显浮夸，需要时间去积累。

3、企业在招什么样的大数据工程师？

**(1) 刚洗白一两年的，或者立志为大数据行业做贡献的毕业生。**刚才说大数据行业遍地开花，人员稀缺，从个人经历来说，这真心是这种状况。业务重心逐渐偏移到数据部，所以部门急剧扩招(当然也有老员工离职的问题)，近三个月来，我陆陆续续面试了大约有7个人左右吧。面试的人中有两三年工作经验的，也有四五年工作经验的，当然也有刚毕业的本科生或者硕士生。看年份感觉都还不错是吧，但是如果你翻一翻简历就会哭了。就说说三到五年工作经验的吧。

简历中，项目经历一项一大溜啥XX管理系统、XX电商后端开发项目，翻了八九个项目，终于在最后看到辣么一两个大数据有关的项目。而掌握的技术中是各种的什么Spring MVC啊、SSH啊、js啊、甚至是php之类的，只有寥寥数个什么hadoop啥的，还不敢放在前头，当时我就哭了/(ㄒoㄒ)/~~。

情况真是这样的，**工作经验足的，很多都是刚从其他技术领域转过来的，其中以开发java后端，诸如精通什么MVC框架的人群为主体。**能说上hadoop是怎么回事，会点MapReduce、Hive之类的是常态；会点Spark，能写Scala，知道Storm的，少之又少；能把整个数据框架流程说清楚的都是奇才了；至于说到大规模数据的深层挖掘，他们是这样说的“没怎么接触，但有这个兴趣去学”。

行情确实是这样的，大数据的坑挖的太大，所以各个公司都缺人，而且还是奇缺，所以也就有了上面我说的现象，**各个行业，特别是传统IT行业的从业人士，纷纷转入互联网，投身大数据。**而有点大数据经验的，大部分都是香馍馍似得供着，不愿意放手。所以，最终我们这边实际情况就是，问HR咋回事，HR说JD发出去无数份，能拉过来面试的就酱紫了。最终大老板发话了，说到：经验差点没关系，只要脑子活愿意学，就要！所以，7个人，offer就发出去4份。

但更悲剧还在后头，两个有大概平均1.5大数据经验的人，拿到offer后根本不鸟之，也不知道后来去了哪个公司，而最后进来的是两个本科以及硕士应届毕业生。所以，就目前来看，**大数据行业的火爆带来的一个现状就是，大量的java开发人员转行，大数据行业背景平均在一年多，虽然如此，依然是供不应求的。**

(2) 我们来看看一些“喜人”的招聘需求。随便翻一翻招聘网站的职位需求，每天都有大量的大数据相关职位被刷新。然后结合刚才我们所说的一些混乱现状，你会发现很多“喜人”的招聘说明。

我希望的是，用人的公司也好、企业也好，看完这个之后，能对招人有个更清晰的定位。我们要的是大数据行业专家！ JD 中是这么描述的，十年以上大数据领域经验，然后会XX，然后又得会XX。再多的俺就不多说了，结合刚才我们说的大数据行业历史。十年？我就呵呵了~~　我所看到的这种JD，大部分出自于传统IT行业(看到没，传统IT行业也开始追赶潮流了)，而互联网公司职位描述就含蓄多了，最起码他们不会动不动就要十年以上“砖家”。

而且还有一点个人想吐槽的就是，你说十年就十年吧，给待遇还奇低无比。关于这一点，互联网公司就比较明白事理的。关于大数据薪酬这一块，我们再进行分析分析~~ 我们要的是能进行大规模数据挖掘的人才！

关于数据挖掘，上面也稍微提到过一点，数据的上层应用挖掘，这个需求随着数据处理流程日益完善，数据的应用已经从简单的多维统计分析，慢慢得向深层挖掘过渡。不说大规模数据，就说传统的数据挖掘，其实这块就国内的情况来看，还是处于比较初级的状态的。我们经常看到这样的职位JD描述，Title写的是“数据挖掘工程师招聘”，然后附加条件是，熟悉大数据领域，会MapReduce、kafka、hadoop、storm、spark，熟悉ETL，对若干NoSQL了解熟悉，能够进行平台搭建，平台开发，能够进行数据处理，会分类、聚类、用户画像、个性化推荐各种算法。

最后在工作年限上写着“1-3年”(年份太足是很贵的嘛)。我的天啊，他们看样子不止是想招数据挖掘工程师啊。他们像是在招ETL工程师；不对，应该是大数据平台开发工程师；也不对，好像确实是在招数据挖掘工程师，没看到有算法需求吗。我赶脚呀，他们不是在招数据挖掘工程师，他们是在招一个全能工程师，是在招一个神啊。

(3) 说了不少，对于大数据人才招聘这块，简单的总结一下吧！其实个人感觉，企**业还是需要对自己岗位定位要有一个比较清楚的定位的。**如果你的资金足，想招一个业内权威点的，专家级人物，没关系，但你也别睁着眼瞎说十年呐。上哪去给你找十年专家啊！ 所以，个人建议就是，瞄准在大数据领域真正玩过五年以上的，基本上就是牛人了，也足够你用的了。

然后针对刚才说的“数据挖掘”招聘现象，其实定位也很重要了，**真心想要招一个类似“全能”的人，至少也要找一个在这个领域待过3+年的。**至少三年以上的时间，这种人会对数据架构，数据处理流程，甚至是上层数据应用挖掘，都有相应的经验，而不至于空白一片，并且容易带动其他一年半年的大数据经验的人，做方向导向，团队就能快速形成大数据战斗力。所以，如果真心想要类似这种“全能”，真心实意点，把年份改到3+吧，并且要求实打实的3+大数据技术背景，估计差不多。

**接下来就是那种一两年的大数据技术背景的，这种以java后端开发转行大军为代表。**如果你的预算瞄准的是这个市场，那你也别玩虚的，对口招聘吧。要做大规模离线处理，你就招会hadoop的；需要实时处理，你就招会Storm或者会Spark Streaming的；需要做ETL，你就招熟悉ETL流程的；招数据挖掘，就找会点算法的。这才是实在的！

而对于应届生来说，个人赶觉项目经验都是其次的，哪怕是一些实验室项目经验来说，也没啥大用。好歹算是接触过一些内幕的，所以实验室项目的质量，咱就不多说了，呵呵就行了。所以，我们看的一是基础能力。就个人的感觉来说，基础能力当然不必说，我更偏向于对大数据技术感兴趣，并且思维敏捷的应届生。为什么这么说呢？因为大数据技术这个领域会涉及大量的新事物，各种开源的东西，经验少没关系，只有思维够敏捷，有强大的快速学习能力，那就没有问题！

4、谈一谈薪酬，谈一谈人生吧！

最后，谈一谈薪酬，谈一谈人生，谈一谈理想吧！说到谈薪酬，谈人生谈理想这个环节，我想大部分都是比较喜欢的，我也不例外，我也很喜欢，哈哈~~

正如之前所说的，大数据这个领域，有点略微畸形的火爆，导致了这个方向很缺人，也正是大量java后端开发人员转行的直接原因。因为缺人，他们就转行么？显然是扯的！大伙儿都是有理想的人，要向“钱”看的。缺人，找不到人怎么办？提高待遇，自然就有了。

我看到过一份职业薪酬统计报告，其中大数据方向绝对是属于偏高的。就我所知，除去**金融行业**的高玩们。

接下来就是**玩数据挖掘的**，特别是会大规模数据挖掘的人，如果是专业的算法工程师，那么，就更赞了，麻麻再也不用担心我的工资了。

然后就是**游戏行业的开发者**，游戏是个保利行业，所以他们薪酬高一些是很正常的。

再接下来就是冠**以“大数据”称号的攻城狮们**。这类的，要么是做平台构建的，要么是做大数据架构，要么是做数据处理的等等。工资也比纯Java后端开发、C开发、C++开发等高那么半档一档的。

接下来跟大数据没有半毛钱关系的职位啥的，我就不多说了~~

写在最后

对于投身大数据这个坑的人来说，我个人的建议就是，**要入行没问题，但是找准自己的兴趣G点，别想着啥都想掌握。**找准一个切入点，比如就是平台搭建、就是ETL、就是写离线处理程序、就是研究实时等等，然后，慢慢再往大领域中扩充自己的大数据知识库存。

就我个人来说，从数据架构到数据上层应用挖掘，目前依然在坑内，也没有打算从大数据的这个坑中脱身。**大数据这个方向是个技术快速更新、迭代的技术领域，所以，个人鼓励坑中人士多多交流、多多分享才能跟上这个时代潮流。**

真心的，技术是需要传播交流以及分享的，特别是大数据领域，更是需要及时掌握最新的技术导向以及行业变化。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly91cGxvYWQtaW1hZ2VzLmppYW5zaHUuaW8vdXBsb2FkX2ltYWdlcy8xNDI5MTU0OS0xMTA5ODdjYWRmNjc5OTQzLmpwZw?x-oss-process=image/format,png