如何精进大数据技术

布满荆棘的人生 2023-07-18 12:45 14阅读 0赞

前几天跟前58的技术委员会主席孙玄聊天，聊天过程中得知他想搞大数据课程，于是我们有了如下对话。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25ncWkyNTEz_size_16_color_FFFFFF_t_70][]

问：根据你的观察，现在企业里面很多想搞大数据的工程师普遍有什么特点？

孙老板：很多同学的大数据知识是东拼西凑的，看B站上的视频学了一点，项目当中用过一点，没有系统化，而且不深入，这些同学其实是做不了真正的大数据工程师的工作的。

问：那你觉得如上的同学如果想要突破，有什么方式吗？

孙老板：根据我个人经验，有两种方式，第一种：就是跟着企业成长，如果企业的业务发展起来了，那么就会倒逼着这些同学把技术练出来，为什么大厂里面的牛人多，很多情况下就是业务把普通人逼成了牛人。第二种：其实并不是每个人都有机会进到大厂遇到复杂的业务场景，所以还有另外一种选择就是靠人带，其实公司里很多架构师都是师傅带徒弟的。随着在线教育的发展，有多年落地经验的靠谱大牛，多年在线培训经验，有能够实操落地，其实能够帮助这些同学快速提升的。

问：这就是你们设计《企业级大数据资深研发工程师》课的原因？

孙老板：是的，这个课是由我和沈剑联合打造，由大厂P8+的架构师主讲。

问：那你们这个课跟市场上的大数据的课有什么不同吗？

孙老板：有很大的不同，我们这个课对标的是阿里P6级别的，那真的是对标P6，一般的大数据课程设计的思路是，首先讲各个组件的知识点，讲完以后，再用一两个项目把大数据的各个技术组合一下，那其实这样培养出来的大数据工程师是没有意义的，这样培养出来的工程师只会调各个组件的API，企业里面大数据工程师的工资开得高，但是要求也高。所以我们这个课的设计思路是，首先讲各个知识点和源码，把各个知识点击破以后，再讲全局架构，面对不同的场景，应该如何设计我们的架构，企业里很多业务场景都是类似的，只要给学生演示足够多的业务场景，告诉学生面对不同场景的解决方案，学生学会了以后就能游刃有余的面对企业里各种复杂的场景，我们要赋予学生的是一种解决问题的能力。讲完全局架构以后，最后一步就是讲落地，因为前面只是讲各种架构，各种解决方案，其实还没有落地，所以最后一步就是要把所有的架构方案都要落地，在落地的项目里我们也是从不同维度去培养大数据资深研发工程师的，我们设计了企业级大数据平台的落地项目，因为一个资深的研发工程师应该是有能力去落地一个大数据平台的；我们设计了数仓的实践项目，数仓可以说是每个大数据工程师都需要了解的东西；我们设计了大数据源码二次开发的项目，因为作为一个资深的研发工程师，将来是要往架构师方向走的，所以必须得储备源码二次开发的能力；我们还设计了离线/实时项目，因为一个资深研发工程师，肯定能搞得定大数据项目的开发。通过这套课程，我们就会把学生的知识由点连成线，把这些知识变为学生真正的能力。

问：大数据里面有那个技能对于大数据工程师来说比较重要？

孙老板：其实重要的点很多，但是如果非要说一个的话，我认为有阅读源码的能力对于一个大数据程序员来说是比较重要的，因为大数据是一个开源的技术，而且在企业里面使用的时候非常容易出问题，需要大数据的程序员通过源码去解决一些深层次的问题，很多大数据的程序员通常都会遇到这个瓶颈--不会阅读源码。所以为了帮助这部分同学突破瓶颈，我们课程里面会去讲解《HDFS的源码深度剖析》《SparkCore的源码深度剖析》《Kafka的源码深度剖析》等。如果学生跟着能学完这些源码课，其实自己也就掌握了阅读大数据源码的方式方法，久而久之就会有阅读源码的能力。这也是我们的课程设计的一个核心点。

问：那能概括性的描述一下，咱们课程的特色吗？

孙老板：可以。

**特色一、企业级全链路大数据由点到线实战课程**

基于企业真实需求，从数据采集到数据存储，数据处理全流程深度剖析，由点到线结构化、体系化教学，真正掌握企业级解决方案和方法。

**特色二、企业级分布式大数据平台落地实践**

构建大数据平台的 Iass 层、Pass 层，企业级大数据平台落地实操，体验企业级大数据平台从 0 到 1 的构建过程。

**特色三、企业级真实案例驱动**

基于一线大厂的真实需求，实际落地案例进行剖析。项目需求真实，项目背景真实，项目架构真实，让你具备一线大厂研发经验。

**特色四、企业级大数据环境，模拟真实平台**

提供企业级大数据开发环境，企业级完备的基础设施支持，供学员在真实环境下进行实操演练。

**特色五、多方位企业级项目实践**

从不同角度培养合格的企业级大数据研发工程师，包含源码二次开发实践，企业级数据平台落地实践，数仓实践，离线项目实践，实时项目实践等。

问：那咱们课程的大纲设计是什么样的呢？

孙老板：如下图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25ncWkyNTEz_size_16_color_FFFFFF_t_70 1][]

更多详细课程资料可以扫码领取

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25ncWkyNTEz_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25ncWkyNTEz_size_16_color_FFFFFF_t_70]: /images/20230528/4b8481cead9b4e8b9870ffe811c37085.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25ncWkyNTEz_size_16_color_FFFFFF_t_70 1]: /images/20230528/2ed6f0ed21a94f8e8a33a723a1cfcc93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25ncWkyNTEz_size_16_color_FFFFFF_t_70 2]: /images/20230528/00d8a912e68e41a4a937acc97d719c8c.png