大数据相关各职位解析

我会带着你远行 2021-09-22 01:01 318阅读 0赞

进几年A(人工智能)B(大数据)C(云计算)发展火热，由于笔者在一二线互联网行业从事过大数据相关工作，因此决定在大数据领域对自己的所见所闻，来对改行业之外的人士所做一个讲述，以及对想进入刚行业的从业人员做个简单的讲述和分享。

![19b69544d27caa22f1863ea4a4c0e03a.png][]

大数据首先重要的就是数据，数据从哪里来，到哪里去，这个是我们需要探讨的。首先确定你数据量TB级别、PB级别 or EB级别。上图讲述了数据的来源从用户的数据、购买数据，以及最终的去处：存储、分析。因此可以看出大数据的核心其实是数据。

以笔者所在的电商平台为例(其他行业同样如此)，用户在商城上购买商品，是基于在线交易系统的，称作为OLTP(联机事务)。而由于商城上每天都会产生这些信息，我们就需要把这些交易数据抽取到大数据这边，即：数据仓库。数据仓库是用来存储所有的数据，包括用户的所有信息，购买记录、用户基本信息等等。然后对数据仓库中的数据做处理，构建数据集市，再对数据进行分析。根据商城上推出的活动，进行分析该活动是否有利于用户增长等等，最终用来反馈商城相应的调整活动信息。称之为OATP(联机分析)。

![a32fde0b00144dd5727c2371e70108d0.png][]

上图主要讲述了大数据的信息。通过上图我们可以将大数据大致划分为如下岗位：数据开发，数据平台开发，数据分析、算法应用。如果所处的公司再大一些，上面相对应的岗位则能够进行更加详细的划分，比如是离线还是实时，对应的可以分到每一个岗位下面。

下面来讲述一下，每个岗位所需要的技能，以及大家可以根据自己的需求进行调整。

**1.集群运维：**图为网易集群运维招聘信息，工作内容主要负责集群的维护和升级、以及监控相关工作

![ab4442ba080d6e25dc872198d7bf7bb2.png][]

![d4a21f9f1901a0ecb320dcead8c3e588.png][]

**2.大数据内核开发(中间件开发)：**Hadoop、Hbase、Kafka、Flink 等

需要对于java语言精通、对于大数据组件源码有非常深的理解，commiter或者contibutor具有极大优势

![9c23583f1f279089e2e69cc569c82c7d.png][]

![d7b2c9fddfaf119962cda11a82f847bc.png][]

**3.大数据开发：**包含数据平台开发、数据产品开发和数据开发(ETL):即数仓

数据平台开发：dataworks、dataphin 这种数据平台的开发

![4e4cb1164008d4099fac4ed32fe67bef.png][]

![fa00d14d43591a00a3d6a229350e4494.png][]

数据应用开发：主要是利用技术解决业务问题

![fcf8100c4e1db38c3151265a98ac27f4.png][]

![cc26f593de23cfe81b53cde2373c2947.png][]

数仓：数据清洗、数据加工相关工作

![0dc33cd9cbcbff89c1876acc86f9a915.png][]

![7ce18f3e2db3b913907b3c0302696901.png][]

4.**数据分析师(BI)**：主要是理解业务，会sql 即可，很多女生做这个，薪资不差

![9cd4a544378df225fe82a94488571c6c.png][]

![e3c42c8a81643a27a587a76fc247de26.png][]

**5.算法**：算法的话需要paper

![9e1c2444908192d1f1e6d97cf4e06d6a.png][]

![04893ff901a9b5a62548810da7af0f8c.png][]

**6.产品**：数据产品

![3888f29357df0bee78169301caaace5b.png][]

![52504295d73139b1b3dc80af3874b41e.png][]

在大公司的话，这些岗位会分的比较细，小公司可能需要做平台、又需要做应用、还有数据服务。

以上主要讲述了大数据的常见岗位和对每个岗位所需要技能进行了分析。如果大家有志于在此行业进行发展，欢迎大家和我交流。

[19b69544d27caa22f1863ea4a4c0e03a.png]: /images/20210920/d31ace8df7d54d39bbb21be1813e84e4.png
[a32fde0b00144dd5727c2371e70108d0.png]: /images/20210920/38899222f1964f13b55d3ee2d5f64434.png
[ab4442ba080d6e25dc872198d7bf7bb2.png]: /images/20210920/2bae8a3a8b0447f8bb6ad88d57d3c51c.png
[d4a21f9f1901a0ecb320dcead8c3e588.png]: /images/20210920/4d0fd198aafb49ff8087a37870472874.png
[9c23583f1f279089e2e69cc569c82c7d.png]: /images/20210920/e2f8c5eafb394afaaefe5eb95f869191.png
[d7b2c9fddfaf119962cda11a82f847bc.png]: /images/20210920/780455d469df44a48af7368c619cff64.png
[4e4cb1164008d4099fac4ed32fe67bef.png]: /images/20210920/bffa743753fe416a8ba37c0823061e46.png
[fa00d14d43591a00a3d6a229350e4494.png]: /images/20210920/5ed606112cf845e9b55b5718d7b1f745.png
[fcf8100c4e1db38c3151265a98ac27f4.png]: /images/20210920/70881c63fc2b4084ad6d1c881e61e136.png
[cc26f593de23cfe81b53cde2373c2947.png]: /images/20210920/862a174bd7d944d98b9ed9a5ceb6eafb.png
[0dc33cd9cbcbff89c1876acc86f9a915.png]: /images/20210920/c346d37d84d94d47b493a2a80d804f75.png
[7ce18f3e2db3b913907b3c0302696901.png]: /images/20210920/68b8294837324af992bd8caf6c1b45e0.png
[9cd4a544378df225fe82a94488571c6c.png]: /images/20210920/85ca04c15aeb4d6a875a3d2ba0066502.png
[e3c42c8a81643a27a587a76fc247de26.png]: /images/20210920/1f04c14f092b4092bc43267c7e818a19.png
[9e1c2444908192d1f1e6d97cf4e06d6a.png]: /images/20210920/cc3cd11a4fba4014bc0cd6e76aa6ed96.png
[04893ff901a9b5a62548810da7af0f8c.png]: /images/20210920/9f28ada6358d4993bb2813e174fa3fe2.png
[3888f29357df0bee78169301caaace5b.png]: /images/20210920/49f88c5d49fa45bfbd21e9456d289e2c.png
[52504295d73139b1b3dc80af3874b41e.png]: /images/20210920/22225840b75445a79951682997db7cea.png