ITPub博客

PAI BladeLLM推理引擎: 超长上下文、更高性能

原创 机器学习 作者:阿里云大数据AI技术 时间:2023-09-19 16:17:13 0 编辑
摘要

BladeLLM是阿里云PAI平台提供的大模型推理引擎,致力于让用户轻松部署高性能、低成本的大语言模型服务。BladeLLM对LLM推理和服务的全链路进行了深度的性能优化和工程优化,确保不同模型在不同设备上都达到最优性价比。

请登录后发表评论 登录
全部评论

注册时间:2021-07-28

  • 博文量
    744
  • 访问量
    2549855

阿里云大数据AI技术