ITPub博客

首页 > 大数据 > Hadoop > Yarn的调度器

Yarn的调度器

原创 Hadoop 作者:元亨利贞 时间:2023-10-02 14:38:09 0 删除 编辑

介绍

FIFO调度器:这是最简单的调度器,它根据任务提交的先后顺序进行资源分配。由于它不支持多队列,所以在当前强调多租户和资源利用率的环境下,很少有集群采用FIFO调度器。

容量调度器:这是Yahoo开发的多用户调度器。它支持多队列,每个队列可以配置一定的资源量,并且每个队列内部采用FIFO调度策略。管理员可以为每个队列设置资源最低保证和资源使用上限。如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列。

公平调度器:这是Facebook开发的多用户调度器。它也支持多队列,每个队列可以配置一定的资源量,并且每个队列内部可以选择FIFO、FAIR或DRF策略。公平调度器综合考虑了提交到队列中的各种大小任务的差异,能避免因长时间运行的大任务占用了大量集群资源,造成小任务长时间得不到资源无法执行,影响用户体验。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70024433/viewspace-2986843/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: Yarn工作机制
下一篇: Yarn的常用命令
请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    383
  • 访问量
    247984