ITPub博客

首页 > 大数据 > 数据挖掘 > 好程序员大数据培训教你快速学习MapReduce

好程序员大数据培训教你快速学习MapReduce

原创 数据挖掘 作者:好程序员 时间:2020-10-20 16:23:25 0 删除 编辑

  好程序员 大数据培训教你快速 学习 MapReduce 先说一下MapReduce 的定义。它是一种编程模型,用于大规模数据集的并行运算,名字中暗含着 "Map( 映射 )" "Reduce( 归约 )" 的意思,是从函数式编程语言、矢量编程语言中借鉴而来的。

   MapReduce 的三层含义

   1)MapReduce 是一个基于集群的高性能并行计算平台 (Cluster Infrastructure) 。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。

   2)MapReduce 是一个并行计算与运行软件框架 (Software Framework) 。它提供了一个庞大但设计精良的并行计算软件框架,能自动完成计算任务的并行化处理,自动划分计算数据和计算任务,在集群节点上自动分配和执行任务以及收集计算结果,将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理,大大减少了软件开发人员的负担。

   3)MapReduce 是一个并行程序设计模型与方法 (Programming Model & Methodology) 。它借助于函数式程序设计语言 Lisp 的设计思想,提供了一种简便的并行程序设计方法,用 Map Reduce 两个函数编程实现基本的并行计算任务,提供了抽象的操作和并行编程接口,以简单方便地完成大规模数据的编程和计算处理。

   MapReduce 的四大功能

   1) 数据划分和计算任务调度:

   系统自动将一个作业(Job) 待处理的大数据划分为很多个数据块,每个数据块对应于一个计算任务 (Task) ,并自动 调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点 (Map 节点或 Reduce 节点 ) ,同时负责监控这些节点的执行状态,并 负责 Map 节点执行的同步控制。

   2) 数据 / 代码互定位:

   为了减少数据通信,一个基本原则是本地化数据处理,即一个计算节点尽可能处理其本地磁盘上所分布存储的数据,这实现了代码向 数据的迁移; 当无法进行这种本地化数据处理时,再寻找其他可用节点并将数据从网络上传送给该节点 ( 数据向代码迁移 ) ,但将尽可能从数据所在的本地机架上寻 找可用节点以减少通信延迟。

   3) 系统优化:

   为了减少数据通信开销,中间结果数据进入Reduce 节点前会进行一定的合并处理 ; 一个 Reduce 节点所处理的数据可能会来自多个 Map 节点,为了避免 Reduce 计算阶段发生数据相关性, Map 节点输出的中间结果需使用一定的策略进行适当的划分处理,保证相关性数据发送到同一个 Reduce 节点 ; 此外,系统还进行一些计算性能优化处理,如对最慢的计算任务采用多备份执行、选最快完成者作为结果。

   4) 出错检测和恢复:

   以低端商用服务器构成的大规模MapReduce 计算集群中,节点硬件 ( 主机、磁盘、内存等 ) 出错和软件出错是常态,因此 MapReduce 需要能检测并隔离出错节点,并调度分配新的节点接管出错节点的计算任务。同时,系统还将维护数据存储的可靠性,用多备份冗余存储机制提 高数据存储的可靠性,并能及时检测和恢复出错的数据。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69913864/viewspace-2728201/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-03-20

  • 博文量
    327
  • 访问量
    140370