ITPub博客

首页 > 大数据 > Hadoop > 好程序员大数据培训分享Hadoop技术优缺点

好程序员大数据培训分享Hadoop技术优缺点

原创 Hadoop 作者:好程序员 时间:2020-10-20 16:32:26 0 删除 编辑

   好程序员大数据培训分享 Hadoop 技术优缺点 ,目前我们正被数据包围,全球43 亿部电话、 20 亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友、上传视频、用手机拍照、更新社交网站的信息、转发微博、点击广告等,使得机器产生和保留了越来越多的数据。数据的指数级增长对处于市场领导地位的互联网公司,它们需要对 TB 级别和 PB 级别的数据进行分析处理,以发现哪些网站更受欢迎,哪些商品更具有吸引力,哪些广告更吸引用户。传统的工具对于处理如此规模的数据集越来越无能为力。

   现在,Hadoop 应运而生,庞大的信息流有了新的处理平台。今天给大家分享的大数据培训课程是: Hadoop 技术的优缺点。

   1 、 Hadoop 的优点

   (1)Hadoop 具有按位存储和处理数据能力的高可靠性。

   (2)Hadoop 通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。

   (3)Hadoop 能够在节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性。

   (4)Hadoop 能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配,具有高容错性。

   2 、 Hadoop 的缺点

   (1)Hadoop 不适用于低延迟数据访问。

   (2)Hadoop 不能高效存储大量小文件。

   (3)Hadoop 不支持多用户写入并任意修改文件。

   Hadoop 的核心组件

   3 、 Hadoop 版本简介:

   Hadoop 自诞生以来,主要出现了 Hadoop1 、 Hadoop2 、 Hadoop3 三个系列多个版本。

   HDFS 和 MapReduce 是 Hadoop1 的核心组件, Hadoop 生态圈里的很多组件都是基于 HDFS 和 MapReduce 发展出来的。在继 Hadoop1 之后出现了 Hadoop2 , Hadoop2 在 Hadoop1 的基础上做了改进。相比 Hadoop1 , Hadoop2 的三大核心组件分别是 HDFS 、 MapReduce 、 Yarn 。目前市面上绝大部分企业使用的是 Hadoop2 。

   Hadoop2 的一个公共模块和三大核心组件组成了四个模块,简介如下:

   (1)HadoopCommon :为其他 Hadoop 模块提供基础设施。

   (2)HDFS :具有高可靠性、高吞吐量的分布式文件系统。

   (3)MapReduce :基于 Yarn 系统,分布式离线并行计算框架。

   (4)Yarn :负责作业调度与集群资源管理的框架。

   Hadoop 技术俨然成为大数据的关键点,也是大数据开发课程的重中之重。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69913864/viewspace-2728209/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-03-20

  • 博文量
    342
  • 访问量
    194997