ITPub博客

首页 > 大数据 > Hadoop > 好程序员大数据培训分享Hadoop技术优缺点

好程序员大数据培训分享Hadoop技术优缺点

原创 Hadoop 作者:好程序员 时间:2020-10-20 16:32:26 0 删除 编辑

   好程序员大数据培训分享 Hadoop 技术优缺点 ,目前我们正被数据包围,全球43 亿部电话、 20 亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友、上传视频、用手机拍照、更新社交网站的信息、转发微博、点击广告等,使得机器产生和保留了越来越多的数据。数据的指数级增长对处于市场领导地位的互联网公司,它们需要对 TB 级别和 PB 级别的数据进行分析处理,以发现哪些网站更受欢迎,哪些商品更具有吸引力,哪些广告更吸引用户。传统的工具对于处理如此规模的数据集越来越无能为力。

   现在,Hadoop 应运而生,庞大的信息流有了新的处理平台。今天给大家分享的大数据培训课程是: Hadoop 技术的优缺点。

   1 Hadoop 的优点

   (1)Hadoop 具有按位存储和处理数据能力的高可靠性。

   (2)Hadoop 通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。

   (3)Hadoop 能够在节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性。

   (4)Hadoop 能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配,具有高容错性。

   2 Hadoop 的缺点

   (1)Hadoop 不适用于低延迟数据访问。

   (2)Hadoop 不能高效存储大量小文件。

   (3)Hadoop 不支持多用户写入并任意修改文件。

   Hadoop 的核心组件

   3 Hadoop 版本简介:

   Hadoop 自诞生以来,主要出现了 Hadoop1 Hadoop2 Hadoop3 三个系列多个版本。

   HDFS MapReduce Hadoop1 的核心组件, Hadoop 生态圈里的很多组件都是基于 HDFS MapReduce 发展出来的。在继 Hadoop1 之后出现了 Hadoop2 Hadoop2 Hadoop1 的基础上做了改进。相比 Hadoop1 Hadoop2 的三大核心组件分别是 HDFS MapReduce Yarn 。目前市面上绝大部分企业使用的是 Hadoop2

   Hadoop2 的一个公共模块和三大核心组件组成了四个模块,简介如下:

   (1)HadoopCommon :为其他 Hadoop 模块提供基础设施。

   (2)HDFS :具有高可靠性、高吞吐量的分布式文件系统。

   (3)MapReduce :基于 Yarn 系统,分布式离线并行计算框架。

   (4)Yarn :负责作业调度与集群资源管理的框架。

   Hadoop 技术俨然成为大数据的关键点,也是大数据开发课程的重中之重。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69913864/viewspace-2728209/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-03-20

  • 博文量
    330
  • 访问量
    140965