关键字: [Next-Generation Data Lakehouse Architecture, Real-Time Analytics At Scale, Flexible Data Ingestion, Observability And Telemetry, Speed To Market]

本文字数: 400, 阅读完需: 2 分钟

导读

来自Arcadia 的Nick Steepro 阐述了他们如何利用亚马逊云科技的下一代数据湖仓架构, 为医疗保健组织实现实时分析和洞见。他解释说,Arcadia 的数据平台从各种医疗保健来源获取并整合数据, 通过分析管道丰富患者数据, 并通过面向护理提供者、患者和其他利益相关方的应用程序激活洞见。新架构建立在亚马逊云科技服务( 如S3 、Kafka 和Redshift) 之上, 实现了更快的查询性能、在负载下的可靠性提升以及加快新产品和新功能的上市时间。Arcadia 因此获益良多, 包括活跃用户同比增长50% 、应用程序响应时间提高60% 、查询响应时间加快10 倍以及数据处理队列深度减少80% 。

演讲精华

在医疗保健领域, 数据的重要性日益凸显。随着医疗保健系统从传统的交易式系统向以患者为中心的整体系统转变, 对数据的需求也发生了根本性的变革。虽然在过去的数字化进程中产生了大量数据, 但人们并不清楚如何有效利用这些数据。Arcadia 公司的使命就是整理和激活这些数据, 构建一个大规模的数据平台, 并在其上搭建分析堆栈, 将关于患者的每一个数据点转化为以患者为中心的整体护理。

Arcadia 与全国多家合作伙伴合作, 拥有约1.5 亿美国患者记录, 连接了约2,500 个电子健康记录系统。它们管理大量医疗保健费用, 包括基于价值的护理和按服务付费。Arcadia 在这些数据之上构建了各种应用程序, 为患者的整个就医过程提供支持。

本次演讲重点介绍了Arcadia 与亚马逊云科技合作开发的现代数据湖仓平台架构。该架构的高阶表示包括数据网关、分析管道和端点应用程序。客户拥有大量数据, 来自多个服务点, 如门诊、急诊、远程患者监控和家庭护理。Arcadia 通过各种方式获取这些数据, 并将其整合到数据湖仓中。在数据网关中,Arcadia 使用Amazon Transfer Family 和Amazon API Gateway 获取数据。数据湖使用Amazon S3,Apache Hoodie 作为数据治理层,Amazon Glue 用于数据目录和元数据管理。每月有25PB 的数据流经数据湖。

Arcadia 采用三层铜、银、金数据模型。原始数据存储在铜层, 经过加固处理后进入银层和金层, 以供分析使用。数据加固发生在丰富分析管道中, 使用Kafka 、Amazon Lambda 、Apache Spark 等技术, 运行数百个模型和算法, 对数据进行丰富和转换。Arcadia 使用Amazon Redshift 将数据镜像给客户, 并使用Apache Airflow 将部分数据加载到热存储中, 以提高查询性能。它还使用ScyllaDB 和Elasticsearch 提供低延迟、高性能的数据服务, 支持多种应用程序。

Arcadia 最初在云中进行了简单的迁移, 后来利用亚马逊云科技云原生能力和开源大数据技术, 对平台进行了现代化改造。改造后, 月活跃用户增长50%, 应用响应时间提高60%, 查询响应时间提高10 倍, 支持 量下降60% 。数据处理队列深度降低80%, 即使数据量增加2.26 倍。这种架构为Arcadia 和客户带来了多方面的价值。

首先, 上市速度加快。由于采用了中心辐射式数据模型,Arcadia 只需在单一的Apache Hoodie 数据湖上操作, 开发人员可以使用统一的SDK 访问数据, 大大压缩了上市时间。过去需要几个月才能推出的功能, 现在可以在两周内完成。

其次, 实现了真正的实时分析能力。传统的批处理方式已无法满足需求, 新架构可以在PB 级数据量下实现实时分析, 这为医疗保健数据的使用带来了新的可能性。

第三, 数据摄取更加灵活。客户可以在几天内集成新的数据源, 而不再需要漫长的谈判和争夺数据的过程, 这极大改善了Arcadia 的服务模式。

最后, 可观测性得到增强。零拷贝架构使得Arcadia 只需在单一层面上进行遥测和AI 异常检测, 从而确保数据质量的可靠性。

Arcadia 的一位重要合作伙伴和客户Umpqua 公司的Juliana Landry, 他们是该数据湖仓架构的早期测试用户, 结果显示查询性能显著提升。除了速度之外, 新架构还能在大负载情况下保持可靠的性能, 即使有100 多个并发用户, 每个用户的查询性能也不会受到影响。这一点对于Arcadia 拥有数万名全国用户的情况很重要。

总之,Arcadia 与亚马逊云科技合作, 利用现代数据湖仓架构, 实现了大规模、实时的数据处理和分析能力, 为医疗保健组织提供了更好的数据驱动见解和应用支持, 推动了医疗保健系统向以患者为中心的整体模式转变。

总结

在不断发展的医疗保健领域,Arcadia 作为一个先驱性的数据平台应运而生, 利用云原生技术的力量彻底革新了以患者为中心的医疗服务。通过采用亚马逊云科技和现代化的湖仓架构,Arcadia 实现了卓越的性能提升, 使实时洞察成为可能, 加速了创新解决方案的交付。

首先,Arcadia 的数据平台无缝集成了大量医疗保健数据源, 包括电子健康记录(EHR) 、远程患者监控(RPM) 以及各种医疗环境。这种全面的数据采集使医疗保健机构能够全面了解患者的就医历程, 并提供个性化的整体护理。

其次, 采用云原生湖仓架构带来了显著的性能改善。查询响应时间提高了10 倍, 支持工单量减少了60%, 尽管过去一年数据量增加了2.26 倍, 但数据处理可靠性却提高了80% 。这种卓越的效率使实时分析和洞见成为可能, 推动了明智的决策, 并提升了患者的治疗效果。

第三, 湖仓架构加速了Arcadia 的上市速度, 使新产品和功能能够在两周的冲刺周期内快速部署。中心辐射数据模型、灵活的数据摄取能力和精简的可观察性, 使Arcadia 能够迅速适应不断变化的客户需求, 并开启新的数据驱动机遇。

总之,Arcadia 与亚马逊云科技的合作伙伴关系以及其先进的湖仓架构, 使该公司成为医疗保健数据革新的先锋。通过利用云原生技术的力量,Arcadia 正在改变医疗保健机构利用数据的方式, 推动创新, 并最终改善患者的体验和治疗效果。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。