ITPub博客

首页 > 大数据 > Hadoop > 学hadoop需要什么基础

学hadoop需要什么基础

原创 Hadoop 作者:adnb34g 时间:2018-09-20 14:26:27 0 删除 编辑

最近一段时间一直在接触关于 hadoop 方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学 hadoop 需要什么基础”,这个问题好像至今还没好好细想过,可能是因为身边有大神在带着我学习 hadoop 的缘故,也就没想过这样的一个简单的问题。

我们目前在用的 hadoop 版本并不是原生态的版本,我们在用的是国内的一款商业发行版,叫 DKhadoop 。大快搜索推出的一款原生态开发的 Hadoop 集成生态环境。从使用的效果上看 DKhadoop 与开源环境是可以做到完全兼容的。准备过段时间抽个空,试着写一下以 DKhadoop 为切入点关于学习 hadoop 需要掌握什么基础。

DKhadoop 基础技术架构图】

关于学 hadoop 需要什么基础这样的问题,看到一篇关于介绍学习原生 hadoop 的分享,个人觉得还是很不错的一篇文章。这里也分享给大家,供参考之用。

关于学习 hadoop 需要具备什么基础知识,首先应该从整体了解 hadoop ,包括 hadoop 是什么,能够帮助我们解决什么问题,以及 hadoop 的使用场景等。在有了整体上的了解后,就可以开始系统的学习 hadoop 。当然,若是能够结合一些实践性的东西学习会更有助于理解 hadoop

学习 hadoop 需要什么基础:

Linux

①  需要能够熟练操作 linux 常用命令以及网络配置;

②  熟悉用户以及权限管理操作;

③  需要熟悉软件包以及系统命令管理;

④  还需要学习一下 shell 编程。

Java

⑤  需要具备一定的 javase 基础知识;

⑥  如果懂 java web 及各种框架知识那就更好了。

虚拟机:

⑦  需要掌握虚拟机;

⑧  需要安装 linux 操作系统

⑨  需要配置虚拟机网络

除了上述这几个方面,我们还需要了解 hadoop 的单机模式、伪分布模式和分布式模式的搭建方式。 了解 MapReduce 分布式计算框架、 Yarn 集群资源管理和调度平台、 hdfs 分布式文件系统、 hive 数据仓库、 HBase 实时分布式数据库、 Flume 日志收集工具、 sqoop 数据库 ETL 工具、 zookeeper 分布式协作服务、 Mahout 数据挖掘库等


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31524777/viewspace-2214579/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 云存储产品介绍
请登录后发表评论 登录
全部评论
八年IT互联从业经历,专注网络营销、大数据、人工智能等领域的知识分享

注册时间:2018-03-09

  • 博文量
    72
  • 访问量
    24607