ITPub博客

首页 > 大数据 > 数据分析 > 大数据学习路线介绍

大数据学习路线介绍

投稿 数据分析 作者:cdhqyj 时间:2020-05-23 11:45:42 0 删除 编辑

随着企业对大数据开发人才需求的增加,越来越多的人想要走入这一行业,但奈何自身专业技能不过关,只好被层层淘汰下来。如何才能提升专业知识,拥有全面的技能呢?分享一个完整的大数据学习路线,希望能帮到你!

第一阶段:基础知识学习

1、学习目标:精通Java面向对象思维和基础语法;熟练Java中异常处理、I/O、多线程操作;精通Java中集合类的使用;掌握Java中网络编程;精通数据库/JDBC的使用。

2、学习效果:精通Java语言及其高级特性;具备本地应用开发能力,例如:聊天室、文件传输助手等。

第二阶段:Hadoop基础学习

1、学习目标:熟悉Hadoop机制原理;熟悉Hadoop集群搭建过程;熟悉Hdfs API使用以及mr编程模型;熟练hive、hbase、sqoop等组件的使用。

2、学习效果:掌握Hadoop集群搭建;能够理解部分Hadoop源码;能通过mr和hive数据清洗等业务需求;能够实现从不同源对数据的抽取、转换清洗、建模、入库;能熟练高效使用hbase来对非结构化数据进行储存。

第三阶段:Spark内存计算体系(离线提高)

1、学习目标:精通Java面向对象思维和基础语法;熟练Java中异常处理、I/O、多线程操作;精通Java中集合类的使用;掌握Java中网络编程;精通数据库/JDBC的使用。

2、学习效果:精通Java语言及其高级特性;具备本地应用开发能力,例如:聊天室、文件传输助手等。

第四阶段:实时大数据学习

1、学习目标:熟悉storm各个组件的功能以及整体架构原理;熟悉storm环境的搭建;前期能够使用storm-starter初次体验storm执行任务的过程;熟悉storm拓扑的编程模型;熟悉DRPC机制过程;熟悉掌握trident来实现storm的事务。

2、学习效果:熟悉storm架构原理;能够独立完成storm环境的搭建;熟悉storm编程模型,并能构建出相关功能的实例;熟练使用trident构建storm任务。

第五阶段:综合项目

1、项目简介:实时统计广告流量,实现动态黑名单机制,以及黑名单的过滤;实现滑动窗口内各城市的广告展现流量和广告流量的统计;实现各个区域每个广告的点击流量实时统计。

2、技术特点:对实际业务模块进行整合和改造,涵盖SparkCore、SparkSQL和SparkStreaming三大计算框架。

3、学习效果:能够掌握大数据开发过程中的需求分析、方案设计编码实现、功能测试以及性能调优等一整套技能。

相信通过这五个阶段的学习,你在大数据上会有一定突破!


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69912514/viewspace-2693904/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-03-14

  • 博文量
    42
  • 访问量
    17686