大数据从业方向及从业方向具备的技能

绝地灬酷狼 2022-07-15 05:23 159阅读 0赞

尊重别人的劳动成果，本文转自：  作者：江颖，帷策智能、原力大数据创始人兼CEO，大数据应用实施领域资深专家，中国大数据商业实践先行者。http://www.36dsj.com/archives/67366

对于大数据行业的生态，未来大数据领域都有哪些发展机会、不同岗位需要具备什么能力，很多人都不了解。

作为一枚有情怀的大数据领域的老兵，我觉得有必要科普一下大数据领域都有哪些从业方向，各个方向岗位需要具备什么技能，以及未来可以如何发展。36大数据（http://www.36dsj.com/）

大数据业务流程有4个基本环节，分别是业务理解、数据准备、数据挖掘、分析应用。在这个流程里有三个职能领域：大数据系统研发，承担整个运营系统的构建与维护、数据准备、平台与工具开发;大数据挖掘，负责关键模型应用与研究工作;大数据分析应用：既是外部需求的接入者，也是解决方案的输出者，很多时候也会承担全盘统筹的角色。![Image 1][]

![36大数据][36]

图一、 大数据业务流程图，上方回指箭头表示各个环节之间的反馈调节机制;

### 入行方向1：大数据系统研发领域 ###

大数据系统研发领域说白了就是大数据里面搞IT的，承担整个运营系统的构建与维护、数据准备、平台与工具开发。![Image 1][]

![36大数据][36 1]

图二、 大数据运营系统

大数据运营体系包含了采集层、存储层、计算层和应用层，是一个复杂的IT系统，需要熟悉Hadoop等分布式系统的开发工程师、架构工程师和运维工程师来选择平台技术路径和开源组件，完成环境部署，并开发定制化平台工具。对于大数据系统的每一层，所要求的掌握的编程语言和工具都有所侧重，常用的可选技术路径如：

采集层，Sqoop可用来采集导入传统关系型数据库的数据、Flume对于日志型数据采集是非常适用的，另外使用Python一类的语言开发网络爬虫获取网络数据;

储存层，分布式文件系统HDFS最为常用;36大数据（http://www.36dsj.com/）

计算层：有不同的计算框架可以选择，常见的如MapReduce、Spark等，一般来讲，如果能使用计算框架的“原生语言”，运算效率会最高(MapReduce的原生支持Java，而Spark原生支持Scala)，但原生语言使用相对难度较大，与数据分析更为贴近的语言中，至少懂R和Python其中一种，也可以完成大数据计算;

应用层包括结果数据的可视化、交互界面开发以及应用管理工具的开发等，更多的用到Java、Python等通用IT开发前端、后端的能力。

在大数据系统研发领域前期从系统维护入门，逐渐能够自己部署整个Hadoop框架，然后基于这个环境部署平台、工具等。

### 入行方向2：大数据建模与挖掘 ###

大数据挖掘指的是利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。大数据挖掘工程师，也叫机器学习算法工程师，首先得有扎实的数理统计功底，统计学是最基础的，同时熟练掌握常用的统计分析和机器学习模型算法，而且有好奇心和耐心有钻研精神。

Python/R/Java等编程语言至少会一门，而且在海量数据情况下，不可能只在单机环境下操作，所以得熟悉Hadoop。要真正成为算法大神，还需要良好的英语阅读能力，才能快速学习国内外最新研究成果。36大数据（http://www.36dsj.com/）

大数据挖掘工程师/算法工程师刚入行可能是根据大数据项目经理提的需求应用模型解决数据问题。在应用的基础上，进阶是能够总结问题与解决方法的共性，从而形成标准化的能力、固化模型，提升效益。高阶便是有自己的研究成果，成为算法大神、数据科学家。

### 入行方向3：大数据分析应用领域 ###

大数据分析应用就是帮助企业把数据和技术转化为商业价值，我们常说的初级/高级数据分析师，或数据分析项目经理都属于这个领域。相对于前两个领域，分析应用领域所要求的技能最为全面的，需要从业者拥有复合型的知识结构和背景，包括对行业和业务深刻理解力，数据分析处理与解读力，沟通表达及管理能力三个方面。

首先起码会用SQL/SPSS/SAS等初级分析工具，了解统计模型相关知识;最好能在一定程度上掌握Python等一类通用型编程语言;需要强大的逻辑思维能力、归纳演绎能力帮助理解业务，能快速学习全新领域的商业模式和生态;最后，如何把分析结果可视化、产出可落地方案、让别人信服以及管理自己的团队，又考验了沟通表达和管理能力。36大数据（http://www.36dsj.com/）

理论上计算机专业、信息专业、数学专业、管理专业或者其他专业背景的都可以尝试这个领域。前期是做数据的基础监测和总结工作，如周期性的报告或特定专题报告;中期参与业务沟通、梳理需求，组织建模解决问题;后期要不就为企业内部提供战略意见，要不就带领团队为甲方客户提供可落地的解决方案。![Image 1][]

![36大数据][36 2]

图三、 大数据三个主要职能领域所需技能对比;

### 从掌握Python开始，获得黄金就业机会 ###

DT时代到来，大数据行业对人才需求倍增，但由于大数据需要的是复合型人才，而相应的培育体系仍未完善，因此，行业人才极度稀缺。可以预见，大数据行业的从业者的薪酬待遇将持续上升;对于广泛的应届生，大数据领域提供了许多黄金就业机会。

很多想进入这个行业的人都想知道，这么多编程语言，应该学习哪一门?强烈建议Python。无论是数据采集、处理还是建模、平台工具开发，都可以用到。无论你是做系统研发还是做数据挖掘、分析应用，懂Python都会让你事半功倍!

# [想要成为大数据工程师？你需要掌握以下知识（上）][Link 1] #

# [想要成为大数据工程师？你需要掌握以下知识（下）][Link 2] #

[Image 1]: 
[36]: http://www.36dsj.com/wp-content/uploads/2016/11/623.png
[36 1]: http://www.36dsj.com/wp-content/uploads/2016/11/624.png
[36 2]: http://www.36dsj.com/wp-content/uploads/2016/11/625.png
[Link 1]: http://www.36dsj.com/archives/65684
[Link 2]: http://www.36dsj.com/archives/67376