ITPub博客

TAG:BladeLLM 的纯异步推理架构

原创 人工智能 作者:阿里云大数据AI技术 时间:2024-09-16 10:44:29 0 编辑
摘要

BladeLLM 设计并实现了基于 Python 的纯异步 LLM 推理架构 -- TAG (Totally Asynchronous Generator) ,以最大程度提高 GPU 利用率,提升引擎性能。

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2549885

阿里云大数据AI技术