ITPub博客

首页 > 数据库 > 数据库开发技术 > 新一代分布式执行引擎-Ray组件,使用竟如此简单!

新一代分布式执行引擎-Ray组件,使用竟如此简单!

原创 数据库开发技术 作者:3分钟秒懂大数据 时间:2021-06-18 15:23:51 0 删除 编辑


关注并标星 3分钟秒懂大数据

每天1次,打卡阅读

更快更全面获取大数据技术博客


1、Ray是什么?

Ray 是 UC Berkeley riseLab (前身是开发 Spark/Mesos 等的AMPLab实验室) 针对机器学习、强化学习领域开发的一种面向AI场景的分布式计算框架。

它通过在全局控制存储中抽象系统的控制状态并使所有其他组件保持无状态来实现可伸缩性和容错性。它使用共享内存分布式对象存储Plasma,通过共享内存来高效处理大数据,并使用自下而上的分层调度架构来实现低延迟和高吞吐量调度。它使用基于动态任务图和 actor 的轻量级API,以灵活的方式表达各种应用程序。可以和机器学习框架Scikit-Learn、XGboost、Lightgbm、深度学习框架Tensorflow、Pytorch无缝对接。

通过下面的几张图来详细介绍Ray的使用和原理。

2、Ray包含哪些组件?

3、Ray的基本编程概念

可以通过下面的案例,来查看object  和objectRef

4、Ray的总体架构


5、Ray 运行机制

    5.1 提交计算任务阶段


    5.2 获取远程执行结果阶段

 找各类大数据技术文章,就来

<3分钟秒懂大数据>

随时更新互联网大数据组件内容

专为学习者提供技术博文

快和身边的小伙伴一起关注我们吧!

原文作者:3分钟秒懂大数据;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2021-06-15

  • 博文量
    98
  • 访问量
    42102