ITPub博客

首页 > 大数据 > Hadoop > 好程序员大数据入门学习之Hadoop技术优缺点

好程序员大数据入门学习之Hadoop技术优缺点

原创 Hadoop 作者:好程序员IT 时间:2019-03-29 14:53:45 0 删除 编辑

   好程序员 大数据入门学习之 Hadoop 技术优缺点

 

  (1)Hadoop 具有按位存储和处理数据能力的高可靠性。

  (2)Hadoop 通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。

  (3)Hadoop 能够在节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性。

  (4)Hadoop 能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配,具有高容错性。

 

  Hadoop 的缺点

  (1)Hadoop 不适用于低延迟数据访问。

  (2)Hadoop 不能高效存储大量小文件。

  (3)Hadoop 不支持多用户写入并任意修改文件。

 

  Hadoop 的核心组件

  Hadoop 自诞生以来,主要出现了 Hadoop1 Hadoop2 Hadoop3 三个系列多个版本。

  HDFS MapReduce Hadoop1 的核心组件, Hadoop 生态圈里的很多组件都是基于 HDFS MapReduce 发展出来的。在继 Hadoop1 之后出现了 Hadoop2 Hadoop2 Hadoop1 的基础上做了改进。相比 Hadoop1 Hadoop2 的三大核心组件分别是 HDFS MapReduce Yarn 。目前市面上绝大部分企业使用的是 Hadoop2 ,本书使用的是 Hadoop2.7.3 这一版本。

 

  Hadoop2 的一个公共模块和三大核心组件组成了四个模块,简介如下。

  (1)HadoopCommon :为其他 Hadoop 模块提供基础设施。

  (2)HDFS :具有高可靠性、高吞吐量的分布式文件系统。

  (3)MapReduce :基于 Yarn 系统,分布式离线并行计算框架。

  (4)Yarn :负责作业调度与集群资源管理的框架。

 

   好程序员 大数据培训的终极目标是将你培养成一名 “复合型”研发人才,让你自己在掌握相关大数据技术的同时,也能够赢得一份高薪职位 ! 好程序员 大数据开发采用 T ”字形的思维,以大数据的深度为主,以机器学习、云计算等作为宽度,相辅相成。此外 好程序员 大数据课程定期组织与一线名企的工程师进行面对面的就企业当下的项目讨论与研发,进而验证所学技术的正确方向。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69913892/viewspace-2639735/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
欢迎关注公众号:好程序员特训营 web前端教程分享 723729549 大数据教程分享 703503210

注册时间:2019-03-20

  • 博文量
    539
  • 访问量
    338326