Hadoop之MapReduce2架构设计
MapReduces2架构设计
hadoop2.x 实现MR2 计算 ,资源作业调度-->YARN
Yanr包括了ResourceManager和NodeManager两个服务,也属于Master/Slave架构
ResourceManaher --为用户提交的jar应用程序创建
ApplicationsManager: 与NodeManger进行通信,要求NodeManager中的container启动应用程序的ApplicationMaster
ResourceScheduler:资源管理和分配
NodeMnager
ApplicationMaster:向ApplicationManager注册,向ResourceScheduler申请资源后与NodeManager通信,创建应用程序并分配任务监控运行结果
Map Task|Reduces Task:干活的 汇报任务状态及进度给ApplicationMaster
Container 容器,Yanr的组件为运行任务而生
#ResourceSchuduler总大小
yarn.nodemanager.resource.memory-mb
#NodeManger上容器参数,默认1G增长
yarn.scheduler.minimum-allocation-mb 1024
yarn.scheduler.maximum-allocation-mb 8192
#虚拟Core,物理Core与虚拟 1:2
yarn.scheduler.minimum-allocation-vcores 1
yarn.scheduler.maximum-allocation-vcores 4
hadoop2.x 实现MR2 计算 ,资源作业调度-->YARN
Yanr包括了ResourceManager和NodeManager两个服务,也属于Master/Slave架构
ResourceManaher --为用户提交的jar应用程序创建
ApplicationsManager: 与NodeManger进行通信,要求NodeManager中的container启动应用程序的ApplicationMaster
ResourceScheduler:资源管理和分配
NodeMnager
ApplicationMaster:向ApplicationManager注册,向ResourceScheduler申请资源后与NodeManager通信,创建应用程序并分配任务监控运行结果
Map Task|Reduces Task:干活的 汇报任务状态及进度给ApplicationMaster
Container 容器,Yanr的组件为运行任务而生
#ResourceSchuduler总大小
yarn.nodemanager.resource.memory-mb
#NodeManger上容器参数,默认1G增长
yarn.scheduler.minimum-allocation-mb 1024
yarn.scheduler.maximum-allocation-mb 8192
#虚拟Core,物理Core与虚拟 1:2
yarn.scheduler.minimum-allocation-vcores 1
yarn.scheduler.maximum-allocation-vcores 4
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31441024/viewspace-2155252/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
