ITPub博客

首页 > 大数据 > Hadoop > Hadoop主要是用来做什么的呢?

Hadoop主要是用来做什么的呢?

Hadoop 作者:候鸟之恋 时间:2023-09-08 15:09:12 0 删除 编辑

Hadoop以一种可靠、高效、可伸缩的方式进行数据处理,用户可以在不了解分布式底层细节的情况下开发分布式程序。 主要解决海量数据存储与计算的问题,是大数据技术中的基石。

 

Hadoop 用途:

海量数据存储

HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(High throughput)来访问数据,适合那些有着超大数据集(large data set)的应用程序,它由n台运行着DataNode的机器组成和1台(另外一个standby)运行NameNode进程一起构成。每个DataNode 管理一部分数据,然后NameNode负责管理整个HDFS 集群的信息(存储元数据)。

 

资源管理,调度和分配

Apache Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统和调度平台,可为上层应用提供统 一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。gendan5.com/tagslist/%E5%9B%BD%E9%99%85%E7%8E%B0%E8%B4%A7%E9%93%B6/

 

并行数据处理

MapReduce算法要求你可以并行化你的数据处理。MapReduce在变量逐个处理的情况下工作得很好(例如,计数或聚合);但是,当您需要共同处理变量(例如,变量之间有许多相关性)时,此模型不起作用。

任何基于图形的数据处理(意味着依赖于其他数据的复杂数据网络)都不适合 Hadoop的标准方法。话虽如此,相关的Apache Tez框架确实允许使用基于图形的方法来处理数据,而不是更线性的MapReduce工作流程。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70014563/viewspace-2981915/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2022-03-02

  • 博文量
    189
  • 访问量
    127593