点击上方公众号进入 3分钟秒懂大数据 主页

然后点击右上角 “设为标星”

比别人更快接收硬核文章

大家好，我是土哥。

由于前段时间抽空整理了大数据相关文档，更新在了 github 的仓库上，得到了很多在校的新朋友的关注和认可。

其中有一位大二的同学在后台给土哥留言：

大数据专业大二学生，很焦虑，感觉在学校学的不好，对大数据开发整体很懵，不知道该学什么、怎么学？

所以今天，土哥就从整体来谈谈大数据，希望对这位同学以及有同样困惑的小伙伴有所帮助。

这里也有很多老前辈，希望老前辈们也不要吝啬你们的经验，一人留一句善言，所谓赠人玫瑰，手有余香。

大数据开发主要做什么？

大数据领域，归类出来大体分为三部分，存储、计算、调度；基于这三类衍生出多个岗位，例如：

离线数据仓库工程师、实时数据仓库工程师、离线大数据平台开发工程师、实时大数据平台开发工程师、大数据计算引擎工程师、大数据存储引擎工程师、数据挖掘工程师、大数据运维工程师。

1、离线、实时大数据平台开发工程师主要是构建和维护大数据平台：例如搭建和维护数据存储、处理、计算、分析和可视化的平台，内部集成了计算引擎和存储引擎等；

2、离线、实时数据仓库工程师，会基于业务的需求，进行数据建模和维度建模，然后设计和实现数据处理流程，包含采集、清洗、转换、处理和存储等过程，在这期间，需要确保数据的准确性和一致性。

3、大数据计算、存储引擎工程师，他们主要负责平台底层引擎的设计与实现，比如，你要提交流任务，需要用到Flink 引擎，那这个组件就需要被维护和升级，就需要计算引擎的人员，你要将数据写到clickhouse 或者 doris 中，就需要存储引擎的开发人员。

4、数据挖掘工程师，会利用数据来进行特征提取和模型训练，就会用到一些数据分析工具，需要掌握机器学习、自然语言处理等技能。

5、当集群出现问题时，这就需要大数据运维工程师来保障集群的稳定，需要对集群进行性能优化和故障排查，来确保系统稳定和高效运行。

哪些技能需要掌握？

大数据岗位众多，所以学技术之前，最好先确定求职的岗位，根据岗位来学习专业技能，这样效果最好~ 这里给大家分享土哥之前写的大数据学习路线一条龙的文章，里面详细列举了不同岗位需要学习的技能

最后，土哥祝大家都能摆脱迷茫，得偿所愿。

end

增值服务：简历修改+面试辅导|Flink资料|模拟面试

你好，我是土哥，计算机硕士毕业，现某大厂资深大数据开发工程师。出生在一个 18 线开外的小村庄，通过自己努力毕业一年在新一线城市买房，在社招、校招斩获 25 家中大厂 offer。

秋招将近，在校的同学务必提前准备，社招的同学也要把握好跳槽时机，再过几月就要过年了。如果你是一个人孤军奋战，苦于无人指导、复习无从下手，或者不擅长写简历，手上只有拿不出手的毫无难点亮点的项目经历...

那么我的第一建议是多和身边的大佬沟通，哪怕是付费咨询，只要你能从他身上学到经验，那就是值得的。如果身边没有这样的人，那么我就毛遂自荐一下哈，毕竟，茫茫网络你能看到这篇文章何尝不是一种命运安排。

需要任一增值服务或进大厂交流求职群

都欢迎加土哥微信（备注来意）