ITPub博客

首页 > 数据治理 > 数据治理 > 数据调度

数据调度

原创 数据治理 作者:mcxiaoracle 时间:2022-11-13 00:21:03 0 删除 编辑

ob和Task有几种不同语境下的区别:

spark语境下

在Spark中,Task是一个Job进行切割后运行的最小运算单元。一般情况下,一个rdd有多少个partition,就会有多少个Task,因为每一个Task只是处理一个partition上的数据。而Task进行组合分批后,被称为stage。Spark会为不同的stage以及不同的Task设好前后依赖,来保证整个Job运行的正确性和完整性,最后一个resultTask结束意味着Job成功运行。

Job>stage>Task

hadoop语境下

Hadoop一个作业称为一个Job,Job里面分为Map Task和Reduce Task阶段,每个Task都在自己的进程中运行,当Task结束时,进程也会随之结束。

Job>Task

某调度产品语境下

Task:一个任务。

TaskType:任务类型,如ETL、MR Job、Simple。

Job:作业,任务在运行过程中的一次执行。

综上所述,Job、Task不同语境下,他们的关系是不一样的,所以在不同的数据调度产品中,要注意他们的区别。

总结一下,数据调度,就是一个任务何时运行,何时结束以及正确的处理任务之间的依赖关系。我们需要关注的首要重点是在正确的时间点启动正确的作业,确保作业按照正确的依赖关系及时准确的执行。



②工作流:任务状态(中断&运行)、任务管理or治理(类型、变更)、任务类型、任务分片。

③调度策略:就绪&超时;重试&重试次数&重试用时。

④任务隔离:任务和执行的关系等。

我们可以按DAG工作流类、定时分片系统分为两类:

一种是DAG工作流类系统:oozie、azkaban、chronos、lhotse


如果选择了DAG工作流这种方式,就要注意时间、完成度,保证丰富灵活的触发机制。

推荐阅读:

[1].https://www.jianshu.com/p/82c889b68798


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69949806/viewspace-2923091/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 数据库备份
请登录后发表评论 登录
全部评论
数据方向,了解oracle ,IBM DB2 730

注册时间:2019-09-30

  • 博文量
    286
  • 访问量
    226594