ITPub博客

首页 > 大数据 > Hadoop > 你想快速成为大数据工程师?

你想快速成为大数据工程师?

原创 Hadoop 作者:金罗老师 时间:2019-03-25 16:58:00 0 删除 编辑

学习  大数据没有零基础入门,首先你要成爲一名工程师


在这里还是要推荐下我自己建的大数据学习交流群:199427210,群里都是学大数据开发的,如果你正在学习  大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据软件开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴加入。


JavaEE,主要运用于企业级运用开发;安卓开发方向;嵌入式运用开发方向。 在此建议大家选择JavaEE方向,由于运用非常普遍,岗位设置也比较多。


Java的职业展开规划之路我们也曾在(一文阐述Java从初级到初级的学习之路——


)详细罗列,这里就不逐一罗列了。





但我们历来没有讨论过学习Java,难道这辈子就只能做Java后端开发吗?只能在这条路上妥协终究吗?难道中途没有其他的选择吗?


偶然看法的一个冤家,最末尾是从事Java后端开发的,后来他在专业时间自学成功转入大数据行业,如今是一名大数据工程师,待遇也比之前好更多。前提是他是一名Java后端开发。


大数据是我们如今比较火的一个展开方向,但是很多培训机构有提到速成的,小编觉得不是特别靠谱。


缘由有以下:


大数据是一个重生行业,还不太成熟。


Java展开了将近20年,也没有说几个月速成的,最多也就是带你入门,让你对Java的知识结构体系有一个明晰的认知,在后期的义务实际时期生长的速度更快。


大数据的起点要高,并不是所谓的零基础就可以入门的。



我们接上去讲述的有关大数据的学习是有条件限制的,首先你需求是一名普通的工程师,假设你是Java工程师的话更好,但假设你是小白的话,那就只能成爲一名工程师的后再来学习大数据吧。


一、看法大数据


大数据本质其实也是数据,不过也包括了些新的特征,


数据来源广;


数据格式多样化(结构化数据、非结构化数据、Excel文件等);


数据量大(最少也是TB级别的、甚至可以是PB级别);


数据增长速度快。


而针对以上新的特征需求思索很多成果:


例如,数据来源广,该如何采集汇总?采集汇总之后,又该存储呢?数据存储之后,该如何经过运算转化本钱人想要的结果呢?


关于这些成果,我们需求有相对应的知识处置。


二、大数据所需技艺要求


Python言语:编写一些脚本时会用到。


Scala言语:编写Spark顺序的最佳言语,当然也可以选择用Python。


Ozzie,azkaban:定时义务调度的工具。


Hue,Zepplin:图形化义务执行管理,结果反省工具。


Allluxio,Kylin等:经过对存储的数据中止预处置,加快运算速度的工具。



必需掌握的技艺:


Java初级(虚拟机、并发)、Linux 基本操作、Hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅佐小工具(Sqoop/Flume/Oozie/Hue等)


高阶技艺6条:


机器学习算法以及mahout库加MLlib、 R言语、Lambda 架构、Kappa架构、Kylin、Alluxio


三、学习规划


每天需求有3个小时的学习时间,周末的时分需求10小时,假设做不到的话,只能是


第一阶段(基础阶段)


Linux学习


Linux操作系统引见与安装、Linux常用命令、Linux常用软件安装、Linux网络、 防火墙、Shell编程等。


Java 初级学习(《深化理解Java虚拟机》、《Java高并发实战》)


掌握多线程、掌握并发包下的队列、掌握JVM技术、掌握反射和静态代理、了解JMS。


Zookeeper学习


Zookeeper分布式协调效力引见、Zookeeper集群的安装部署、Zookeeper数据结构、命令。


第二阶段(攻坚阶段)


Hadoop、Hive、HBase、Scala、Spark、Python


第三阶段(辅佐工具工学习阶段)


Sqoop、Flume、Oozie、Hue






总结


在技术行业里面,每天都会有新的东西出现,需求关注最新技术静态,不时学习。任何普通技术都是先学习实践,然后在实际中不时完善实践的进程。


假设你觉得自己看书效率太慢,你可以网上搜集一些课程。


快速学习的才干、处置成果的才干、沟通才干在这个行业是真的非常重要的目的。


要擅长运用StackOverFlow和Google来帮助你学习进程遇到的成果。


以上是我们对大数据学习的总结,当然我们也提到了,并不是说零基础的就可以直接学习,需求有编程的基础,要先掌握扎实的编程基础,在此建议学习Java,成爲一名工程师的时分,有一定编程阅历,自学起来也相对比末尾要复杂一点,然后对大数据有兴味或许想要进入这个行业的就可以去学习了



来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31561003/viewspace-2639283/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-11-05

  • 博文量
    62
  • 访问量
    61561