首页 > 大数据 > Hadoop > 好程序员大数据培训分享Hadoop技术优缺点
好程序员大数据培训分享 Hadoop 技术优缺点 ,目前我们正被数据包围,全球43 亿部电话、 20 亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友、上传视频、用手机拍照、更新社交网站的信息、转发微博、点击广告等,使得机器产生和保留了越来越多的数据。数据的指数级增长对处于市场领导地位的互联网公司,它们需要对 TB 级别和 PB 级别的数据进行分析处理,以发现哪些网站更受欢迎,哪些商品更具有吸引力,哪些广告更吸引用户。传统的工具对于处理如此规模的数据集越来越无能为力。
现在,Hadoop 应运而生,庞大的信息流有了新的处理平台。今天给大家分享的大数据培训课程是: Hadoop 技术的优缺点。
1 、 Hadoop 的优点
(1)Hadoop 具有按位存储和处理数据能力的高可靠性。
(2)Hadoop 通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。
(3)Hadoop 能够在节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性。
(4)Hadoop 能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配,具有高容错性。
2 、 Hadoop 的缺点
(1)Hadoop 不适用于低延迟数据访问。
(2)Hadoop 不能高效存储大量小文件。
(3)Hadoop 不支持多用户写入并任意修改文件。
Hadoop 的核心组件
3 、 Hadoop 版本简介:
Hadoop 自诞生以来,主要出现了 Hadoop1 、 Hadoop2 、 Hadoop3 三个系列多个版本。
HDFS 和 MapReduce 是 Hadoop1 的核心组件, Hadoop 生态圈里的很多组件都是基于 HDFS 和 MapReduce 发展出来的。在继 Hadoop1 之后出现了 Hadoop2 , Hadoop2 在 Hadoop1 的基础上做了改进。相比 Hadoop1 , Hadoop2 的三大核心组件分别是 HDFS 、 MapReduce 、 Yarn 。目前市面上绝大部分企业使用的是 Hadoop2 。
Hadoop2 的一个公共模块和三大核心组件组成了四个模块,简介如下:
(1)HadoopCommon :为其他 Hadoop 模块提供基础设施。
(2)HDFS :具有高可靠性、高吞吐量的分布式文件系统。
(3)MapReduce :基于 Yarn 系统,分布式离线并行计算框架。
(4)Yarn :负责作业调度与集群资源管理的框架。
Hadoop 技术俨然成为大数据的关键点,也是大数据开发课程的重中之重。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69913864/viewspace-2728209/ ,如需转载,请注明出处,否则将追究法律责任。