ITPub博客

首页 > 大数据 > Hadoop > 零基础学大数据的路线和方向

零基础学大数据的路线和方向

原创 Hadoop 作者:xyz蓝月 时间:2019-05-25 19:06:54 0 删除 编辑

大数据本质是:数据挖掘深度和应用广度的结合。对海量数据进行有效的分析和处理,而不单单是数据量大就叫大数据。

随着人们对大数据的认识越来越深入,很多零基础人员看到了大数据的未来,也想学习这个前沿技术,踏入时代的领军行业。但是一直没有一个很好的思路和方向,本文将详细的讲解零基础如何学大数据。

大数据三大学习方向 :大数据开发师、大数据架构师、大数据运维师

大数据开发师和大数据架构师必须熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。

通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术,掌握设计开发大数据系统或平台的工具和技能,能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作,如性能改进、功能扩展、故障分析等。

【大数据开发学习资料领取方式】:加入大数据技术学习交流群522189307,点击加入群聊,私信管理员即可免费领取

大数据运维师只需了解Hadoop、Spark、Storm等主流大数据平台的核心框架,熟悉Hadoop的核心组件:HDFS、MapReduce、Yarn;具备大数据集群环境的资源配置,如网络要求、硬件配置、系统搭建。熟悉各种大数据平台的部署方式,集群搭建,故障诊断、日常维护、性能优化,同时负责平台上的数据采集、数据清洗、数据存储,数据维护及优化。熟练使用Flume、Sqoop等工具将外部数据加载进入大数据平台,通过管理工具分配集群资源实现多用户协同使用集群资源。通过灵活、易扩展的Hadoop平台转变了传统的数据库和数据仓库系统架构,从Hadoop部署实施到运行全程的状态监控,保证大数据业务应用的安全性、快速响应及扩展能力!

选择大数据不同阶段职位要求

数据存储阶段:SQL,oracle,IBM等等都有相关的课程,根据公司的不同,学习好这些企业的开发工具,基本可以胜任此阶段的职位。

数据挖掘 清洗 筛选:大数据工程师,要学习JAVA,Linux,SQL,Hadoop,数据序列化系统Avro,数据仓库Hive,分布式数据库HBase,数据仓库Hive,Flume分布式日志框架,Kafka分布式队列系统课程,Sqoop数据迁移,pig开发,Storm实时数据处理。学会以上基本可以入门大数据工程师,如果想有一个更好的起点,建议前期学习scala编程,Spark,R语言等基本现在企业里面更专业的技能。

数据分析:一方面是搭建数据分析框架,比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。

产品调整:经过分析后的数据交由老板和PM经过协商后进行产品的更新,然后交由程序员进行修改(快消类进行商品的上下架调整)。

接着再来了解大数据需要掌握那些技术

Hadoop核心

(1) 分布式存储基石:HDFS

HDFS简介 入门演示 构成及工作原理解析:数据块,NameNode, DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、 HDFS常用设置 Java API代码演示

(2) 分布式计算基础:MapReduce

MapReduce简介、编程模型、Java API 介绍、编程案例介绍、MapReduce调优

(3) Hadoop集群资源管家:YARN

YARN基本架构 资源调度过程 调度算法 YARN上的计算框架

离线计算

(1) 离线日志收集利器:Flume

Flume简介 核心组件介绍 Flume实例:日志收集、适宜场景、常见问题。

(2) 离线批处理必备工具:Hive

Hive在大数据平台里的定位、总体架构、使用场景之Access Log分析 Hive DDL&DML介绍 视图 函数(内置,窗口,自定义函数) 表的分区、分桶和抽样 优化。

(3) 速度更快的Hive:Impala

Impala在大数据架构中的角色 架构 数据处理过程 一般使用步骤:创建表,分区表,查询等 常用查询演示:统计,连接等、Impala与Hive的比较 常用配置与最佳使用建议(查错,调优等)。

(4) 更快更强更好用的MR:Spark

Scala&Spark简介 基础 Spark编程(计算模型RDD、算子Transformation和Actions的使用、使用Spark制作倒排索引)Spark SQL和DataFrame 实例:使用Spark SQL统计页面PV和UV。

实时计算

(1) 流数据集成神器:Kafka

Kafka简介 构成及工作原理解析 4组核心API 生态圈 代码演示:生产并消费行为日志。

(2) 实时计算引擎:Spark Streaming

Spark Streaming简介 工作原理解剖 编写Streaming程序的一般过程 如何部署Streaming程序? 如何监控Streaming程序? 性能调优。

(3) 海量数据高速存取数据库:HBase

HBase简介 架构及基本组件 HBase Table设计 HBase基本操作 访问HBase的几种方式。

大数据ETL

(1) ETL神器:Sqoop,Kettle

数据同步ETL介绍 Kettle常用组件介绍 、抽取Mysql数据到Hive实战 Sqoop介绍、抽取Hive数据到Mysql实战。

(2) 任务调度双星:Oozie,Azkaban

ETL与计算任务的统一管理和调度简介 Crontab调度的方案 自研调度系统的方案 开源系统Oozie和Azkaban 方案总结与经验分享。

大数据应用与数据挖掘

(1) 大数据全文检索引擎:Elasticsearch

全文检索基础知识,ES安装及初级介绍,ES深入理解,使用经验介绍。

(2) 数据仓库搭建

为什么要构建大数据平台大数据平台的的经典架构深入剖析“五横一纵”的架构实践 知名互联网公司大数据平台架构简介。

(3) 数据可视化

什么是数据可视化,数据可视化常用工具与必备技能介,Tableau和ECharts实操讲解 ECharts介绍,知名互金公司可视化经验介绍。

(4) 算法介绍

介绍数据挖掘,机器学习,深度学习的区别,R语言和python的介绍,逻辑回归算法的介绍与应用,以及主要的推荐算法介绍。

最后了解大数据主要的三大就业方向和十大职位

就业方向:大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

职位:1、ETL研发;2、Hadoop开发;3、可视化(前端展现)工具开发;4、信息架构开发;5、数据仓库研究;6、OLAP开发;7、数据科学研究;8、数据预测(数据挖掘)分析;9、企业数据管理;10、数据安全研究。 【大数据开发学习资料领取方式】:加入大数据技术学习交流群522189307,点击加入群聊,私信管理员即可免费领取


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69903766/viewspace-2645546/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-12-25

  • 博文量
    50
  • 访问量
    42561