ITPub博客

在 EMR Serverless Spark 的 Ray 作业中使用 Checkpoint 断点续跑

原创 Spark 作者:阿里云大数据AI技术 时间:2026-10-12 11:14:37 0 编辑
摘要

批量推理、多模态预处理等长作业失败后,可以通过 Ray Data checkpoint 保留已提交的处理进度。重新提交同一个作业时,系统在读取输入后过滤已提交 ID,继续计算剩余记录。

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2554277

阿里云大数据AI技术