ITPub博客

首页 > 大数据 > Hadoop > 好程序员大数据划重点 hadoop常用四大模块文件

好程序员大数据划重点 hadoop常用四大模块文件

原创 Hadoop 作者:好程序员IT 时间:2019-05-16 16:01:27 0 删除 编辑

1.core-site.xml( 工具模块 ) 。包括 Hadoop 常用的工具类,由原来的 Hadoopcore 部分更名而来。主要包括系统配置工具 Configuration 、远程过程调用 RPC 、序列化机制和 Hadoop 抽象文件系统 FileSystem 等。它们为在通用硬件上搭建云计算环境提供基本的服务,并为运行在该平台上的软件开发提供了所需的 API 。

     2.hdfs-site.xml( 数据存储模块 ) 。分布式文件系统,提供对应用程序数据的高吞吐量,高伸缩性,高容错性的访问。为 Hadoop 体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。 HDFS 简化了文件的一致性模型,通过流式数据访问,提供高吞吐量应用程序数据访问功能,适合带有大型数据集的应用程序。

namenode+ datanode + secondarynode

      3.mapred-site.xml( 数据处理模块 ) ,基于 YARN 的大型数据集并行处理系统。是一种计算模型,用以进行大数据量的计算。 Hadoop 的 MapReduce 实现,和 Common 、 HDFS 一起,构成了 Hadoop 发展初期的三个组件。 MapReduce 将应用划分为 Map 和 Reduce 两个步骤,其中 Map 对数据集上的独立元素进行指定的操作,生成键 - 值对形式中间结果。 Reduce 则对中间结果中相同“键”的所有“值”进行规约,以得到最终结果。 MapReduce 这样的功能划分,非常适合在大量计算机组成的分布式并行环境里进行数据处理。

     4.yarn-site.xml( 作业调度 + 资源管理平台 ) ,任务调度和集群资源管理 。 resourcemanager + nodemanager 


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69913892/viewspace-2644616/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
欢迎关注公众号:好程序员特训营 web前端教程分享 723729549 大数据教程分享 703503210

注册时间:2019-03-20

  • 博文量
    539
  • 访问量
    410787