ITPub博客

首页 > 人工智能 > 人工智能 > 统一管理、高效部署、持续运营:浅谈疾控 AI 应用落地

统一管理、高效部署、持续运营:浅谈疾控 AI 应用落地

原创 人工智能 作者:星环科技 时间:2026-11-10 11:42:37 0 删除 编辑

在 公共卫生领域,AI 正逐步应用于报告生成、智能识别、知识问答等业务场景。随着使用部门和业务系统不断增加, 如何让分散的模型能力实现统一供给、高效接入和持续运营,成为 AI 规模化应用需要解决的问题。

某疾病预防控制机构(以下简称“该机构”)面临的正是这一挑战。随着 AI 应用从单点探索走向多部门使用,模型分散部署、资源重复配置、接入流程复杂等问题逐渐显现。

为此,该机构引入 星环科技 Sophon LLMOps 大模型运营管理平台, 将模型、计算资源、账号空间和使用权限纳入统一管理,推动模型服务从分散建设走向统一供给与持续运营。



模型分散在不同系统,如何统一纳管、按需供给


该机构涉及语言生成、语音识别、知识检索、文档处理等多类 AI 能力,原本分布于不同系统,相关计算资源、账号空间和使用权限也需要分别管理。随着业务需求增加,相同模型可能被重复部署,资源分散配置,既增加管理工作量,也不利于模型能力复用。

通过 Sophon LLMOps, 该机构将分散的模型能力和计算资源集中纳管,并围绕语料、知识、模型、应用四类核心资产建立统一管理体系。平台将模型能力以标准化服务的方式提供给业务部门,不同应用可根据需求和权限调用已有服务,无需重复部署相同模型。

同时,平台根据不同模型及业务部门的需求统一配置计算资源,减少重复建设和分散配置带来的资源占用。


部门提出需求后,模型如何高效接入业务系统


从提出 AI 应用需求到正式使用,通常涉及资源评估、权限配置、模型部署、性能测试和服务交付等环节。在分散建设模式下,各部门需要分别协调资源、配置环境,即使使用相同模型,也可能重复开展部署和测试工作。

针对这一问题,Sophon LLMOps 将需求申请、资源评估、权限配置、部署测试和服务交付纳入统一管理流程,并为不同业务部门配置独立使用空间,支持各部门在权限范围内调用模型、开发应用。

对于平台已有的模型服务,业务部门可按需直接调用;对于新增模型需求,则通过标准化流程完成资源配置、模型部署、性能测试和服务交付。这种方式既减少了已有模型的重复部署,也让新增模型的上线流程更加规范,降低跨部门协调与重复配置成本,提高模型服务的部署和交付效率。


多系统持续调用后,如何保障服务持续可用


模型接入业务系统并不意味着管理工作的结束。当多个应用持续调用模型服务时,运行状态、版本变化和性能表现都会影响业务使用体验,模型服务需要统一的运营维护机制。

通过 Sophon LLMOps平台,可 将已交付的模型服务纳入统一运营管理体系, 集中监控运行状态,持续开展版本升级、性能测试和应用支持,并结合周期性检测与使用反馈优化模型服务。

针对公共卫生业务对服务连续性和可追溯性的要求,平台统一管理服务状态、版本变更和调用权限,为模型升级、问题定位及运行维护提供支撑。

模型从需求接入、部署交付到后续监控和升级优化形成完整的管理流程,减少分散维护带来的管理压力,为多个业务系统持续使用 AI 能力提供保障。


从十余种模型到日均超 10 万次调用,AI 能力如何进入实际业务


目前,该平台已 统一纳管十余种模型及相关 AI 能力,覆盖语言生成、语音识别、知识检索、文档处理及专业领域需求。

多个业务部门已开设独立使用空间,在统一平台上调用模型服务、开展应用开发。平台通过集中管理模型与计算资源,支持不同部门共享已有能力,减少重复部署和资源配置工作。

在业务应用方面,平台已对接 疾控智能体、语料库、疫苗系统等多个应用,相关 AI 能力已用于流调报告自动生成、设备状态识别、人员识别等场景,覆盖公共卫生业务及运营管理需求。

随着业务应用持续运行,平台模型调用规模不断扩大,累计调用已达数百万次,近阶段日均调用超过 10 万次,展现了统一模型服务体系在实际业务中的使用规模。


从模型部署到持续运营 支撑 AI 应用规模化扩展


该机构的实践表明,当 AI 从单点应用走向多部门、多系统使用时,模型部署只是起点,统一供给、高效交付、资源复用和持续运营同样重要。

通过 Sophon LLMOps,星环科技帮助该机构建立起 统一的模型服务管理与运营体系,其价值主要体现在三个方面: 一是资产统一,集中管理语料、知识、模型和应用; 二是流程标准化,规范模型接入、部署测试和服务交付;三 是运营持续化,通过统一监控、版本升级和应用支持保障服务持续运行。

从 十余种模型能力集中纳管,到 多个业务系统共享使用,再到 日均超 10 万次调用,该案例展示了 Sophon LLMOps 从模型部署走向平台化运营的落地实践,也为更多 AI 应用接入和规模化扩展提供了可复用的基础。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69994106/viewspace-3188299/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2021-01-28

  • 博文量
    224
  • 访问量
    161088