分享主题:
本地算力与云端的Token波峰外挂
内容简介:
政企客户自建算力, 面对波峰压力, 云端算力协同, 本地知识库保护的需求, NJET-Token调度管理实现:
1. 本地Token调度 - Token based的负载均衡
2. 本地和云端Token调度 - 波峰外挂, 低成本构建本地算力
3. 语义路由, 实现只摆渡模型能力，不摆渡私有知识和业务数据。
客户收益: Capex节省70%, 实测first token 快30%
嘉宾介绍： 吴静涛
负载均衡和应用交付的元老级专家, 也是NJET (开源信创版Nginx)的联创, 并主导了NJET AI 网关的产研.
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31535056/viewspace-3116175/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
数字金融高质量发展的难点与重点
下一篇：
【2021/8/17】ITPUB新闻早报
请登录后发表评论
登录
全部评论
