关键字: [ 亚马逊云科技中国峰会2024, ParalCluster, 生成式Ai 时代, 高性能计算加速, 研发创新, 多组学数据分析, 弹性Hpc 平台]

本文字数: 2100, 阅读完需: 10 分钟

导读

在生成式AI 时代，高性能计算能够加速研发创新。演讲者介绍了如何利用亚马逊云科技的高性能计算服务和工具, 如任务编排工具、弹性HPC 平台和公开数据集支持, 来高效处理和分析海量生物医疗数据, 推动生命科学和医疗保健领域的创新。具体包括: 通过任务编排工具自动化调用分析任务, 利用弹性HPC 平台满足不同算力需求, 并提供公开数据集避免重复下载存储。这些服务和工具能够帮助用户以高效、低成本的方式处理海量数据, 加速研发创新。

演讲精华

以下是小编为您整理的本次演讲的精华，共1800 字，阅读时间大约是9 分钟。

在生成式AI 时代, 高性能计算正在发挥着至关重要的作用, 加速研发创新。数据的质量和数量决定了我们构建的深度学习模型的能力, 以及对行业知识的理解程度。在生命科学领域, 随着计算能力成本的不断下降, 测序通量的不断提高, 我们无时无刻都在产生海量的多组学数据和多模态医疗数据。然而, 这些数据中有很大一部分尚未被真正利用起来。

一个典型的例子是DeepMind 在2021 年发布的AlphaFold 2 模型。在此之前, 我们很难对蛋白质的结构做出准确的预测, 但AlphaFold 2 将蛋白质结构预测的准确率提高到了92.4%, 同时能够达到原子级别的精度。这也证明了我们历史上积累的数据拥有巨大的价值。

在生成式AI 时代, 人工智能从1.0 阶段进入到了2.0 阶段。基于GPT 等大语言模型, 我们获得了更好的交互方式, 不需要使用专业术语如DNA 、蛋白质、RNA 等与AI 对话。最初, 一些机构如NCBI 尝试通过Function Code 将大语言模型与现有的API 接口相结合, 因为我们无法确定大语言模型的训练数据是否足够准确, 以及对于行业数据是否具有足够高的质量。

随后, 随着生成式技术的迭代和更新, 出现了一些专门针对行业的生成式模型, 如Projenia 和Evo 。这些模型以DNA 和RNA 数据作为训练数据, 允许我们使用专业语言与之交互, 例如指导CRISPR 基因编辑技术。我们的理想是拥有大量高质量的生物、生命科学和医疗数据, 能够以自然语言的方式进行交互, 同时大语言模型能够很好地理解生命科学的基本原理和中心法则。

在这里, 有一个核心概念, 那就是数据。无论是对模型进行训练, 还是通过Function Code 与GPT 等模型交互, 亦或是我们自己构建RAG 等系统, 都离不开数据的支持。这些数据包括外部公开数据、企业内部知识库、商业数据库和第三方API 。我们需要结合自身的合规要求, 如标准操作规程(SOP) 和临床指南, 将这些数据集成到真正的业务系统中。因此, 数据正是生成式AI 的战略性资产。

对于生命科学和医疗保健行业而言, 如何产生、分析和利用大量高质量数据是一个关键问题, 尤其是对于生命科学领域。以生命科学为例, 我们每天会产生数百TB 的原始数据, 但对这些数据的分析是一项具有挑战性的工作。过去, 我们可能只对单一组学数据进行分析, 但现在我们需要对多组学数据进行分析, 这就需要依赖大量公开的数据集。此外, 数据本身的量也是一个庞大的体量, 可能达到上亿比特, 因此我们需要一个能够存储和处理这些海量数据的平台, 以及具备处理上亿比特数据算力的平台。

第二, 我们现有的业务模式正在发生转变。以前, 尤其是在IDC 环境下, 业务需要适应架构。当算力不足时, 我们会有一个排队机制, 很难保证业务的时效性。在一些典型场景中, 比如任务可能在半夜结束, 我们希望能够尽可能利用资源, 让后续任务继续分析, 但这一点很难做到。包括对于一些临床样本, 我们必须在有限的时间内出具相应的肿瘤诊断报告, 为医生提供辅助诊断证据。

在现代化架构下, 我们在云上可以提供一个弹性的HPC 环境, 通过架构适应业务, 在不增加额外成本的情况下, 能够高效分析所有数据。针对生命科学领域, 我们之前积累的经验包括基因组学、转录组学等各种组学, 对于生命科学用户产生和分析高质量大数据, 我们提供了三个模块: 任务编排工具、后端弹性HPC 平台和高质量公开数据集。

任务编排工具可以自动化调用后续任务, 行业内常用的有Snakemake 、Nextflow 、Core 等。我们的平台能够兼容和使用这些工具, 帮助客户在云上构建灵活、弹性的工作流。以单个基因组样本分析为例, 从原始ATCG 数据产生, 到最终对患者的变异结果, 中间会有很多串行和并行的步骤, 我们希望在失败时能够重试。随着数据量越来越大, 我们不仅要分析新产生的数据, 还可能回顾已测序的样本数据, 提高对原始数据的挖掘。工作流工具可以帮助我们将所有任务全部编排, 并自动化调用后续任务。

第二个模块是HPC 算力资源。一方面, 我们提供超过750 种满足不同场景的服务器, 包括GPU 服务器用于深度学习训练推理,CPU 服务器用于多组学分析, 以及带有License 的软GPU 服务器用于药物化学分析等。另一方面, 我们提供了打包的HPC 集群解决方案, 只需20 分钟, 任何人都可以创建一套与世界60% 超算采用相同调度系统的HPC 集群, 并集成高性能分布式存储、高速网卡和虚拟化工作站等。

以一家医药企业为例, 他们在比利时和中国都有办公室, 之前的工作流程是在本地服务器上使用Schrodinger 的可视化界面进行分子动力学和分子对接工作。在云上, 我们采用了Schrodinger 的Job Server 部署方式与亚马逊云科技的HPC 产品集成, 让用户在本地终端使用与之前相同的方式, 但实际计算任务全部在云上的HPC 环境中进行。我们还增加了自动扩展队列, 以满足不定时不定量的任务提交, 保证所有任务都能快速分析。同时, 我们也支持以容器化的方式提交HPC 任务, 类似于ParallelCluster 的概念, 方便迭代HPC 应用。对于AlphaFold 3, 我们也会考虑进行相应的更新工作。

对于深圳君生物科技有限公司的案例, 他们的业务人员只需上传原始序列, 通过API 和网页提交任务, 就可以收到最终结果文件。对于多个人提交任务或希望任务分析更快的需求, 我们在后端会有复杂的架构, 包括弹性、多用户管理、资源分配等, 但对用户来说, 只需一行命令就可一键部署, 确保服务全部部署在客户自己的账号环境和私有云中, 实现多用户管理、海量资源按需扩展等。

第三个模块是数据集支持。在海外, 我们与众多科研机构合作, 提供定期更新、官方支持维护的多个行业领域数据集平台。在生命科学领域, 我们常用的有GATK 、Ensembl 等基因组数据, 以及Cambridgesoft 、ZINC15 等药物化学数据, 这些数据动辄可能超过100TB 。在云上, 基于对象存储、弹性HPC 和高速骨干网络, 我们可以快速获取这些数据, 无需自行存储和承担额外成本。

我们面向行业的解决方案不仅包括基础设施和HPC, 还会根据客户的具体情况进行定制。比如用户的组学分析类型、使用软件、对样本分析时间的要求, 以及当前团队的情况等, 我们会整体考虑, 帮助构建符合使用习惯、最小化学习成本但又能利用云上弹性的最终解决方案。目前, 我们已经为客户实现了单细胞基因组学、肿瘤精准医疗和药物研发等场景的解决方案。

在使用上述HPC 产品时, 我们会有1-3 天的调研, 了解客户的业务逻辑、使用软件和人员情况, 确定POC 目标和关键实施路径。接下来1-2 周, 如果是新客户, 我们会为其注册账号并预置相应资源。然后, 我们会帮助客户在云上安装和验证软件, 到这个阶段, 测试的HPC 环境就可以使用了。真正上线时, 只需将测试和生产数据同步切换。通常, 我们可以在一个月左右完成标准HPC 场景解决方案的实现, 帮助客户利用云上弹性HPC 加速业务分析和高质量数据产出。

之后, 我们还会根据行业变化、软件变化和客户诉求变化, 定期审查架构并提供最佳实践建议。在整个过程中, 我们的解决方案架构师、产品技术专家和行业专家都会参与其中, 介绍可公开的使用案例、提供基础培训和最佳实践指导, 最终帮助客户构建安全、可靠、高效的HPC 平台。

在生成式AI 时代, 高性能计算仍然是分析现有多组学数据的主要手段, 尤其是基因组学、转录组学等基因相关数据分析。但我们希望通过数据积累和高质量数据产出, 能够推动生成式AI 对生命科学语料的理解, 最终在医疗和生命科学领域产生改善。

总之, 我们的解决方案不仅包括基础设施, 还根据客户的具体需求提供定制化的服务, 帮助他们利用云上弹性的HPC 平台加速研发创新。我们的目标是为客户构建安全、可靠、高效的HPC 平台, 在生成式AI 时代充分发挥高性能计算的作用, 推动医疗和生命科学的发展。

下面是一些演讲现场的精彩瞬间：

在亚马逊云科技中国峰会2024 上, 演讲者强调了数据的重要性, 指出数据的质量和数量决定了人工智能模型的能力和对行业知识的理解。

AlphaFold2 模型通过利用历史积累的数据, 将蛋白质结构预测的准确率提高到92.5%, 达到原子级精度, 展现了数据的巨大价值。

亚马逊云科技中国峰会2024 上, 演讲者强调数据是企业AI 战略的核心资产, 包括公开数据、内部知识库、合规要求、商业数据库和第三方API 等。

在现代化的架构下, 我们在云上可以提供弹性HPC 环境, 通过架构适应业务需求, 在不增加额外成本的情况下高效分析所有数据。

亚马逊云科技为生物信息学领域提供了灵活、弹性的工作流平台, 可以自动化编排任务并支持常用工具如CWL 、WDL 、Nextflow 和Snakemake, 助力基因组数据分析。

亚马逊云科技帮助一家医药企业实现了海外协同办公, 通过云端集成Schrodinger 和HPC 产品, 让用户在本地终端使用时无需感知后端变化, 但所有计算任务都在云端高性能环境中运行。

亚马逊云科技致力于通过深入了解行业和客户需求, 提供高效的生物数据分析解决方案, 助力客户实现业务目标。

总结

在生成式AI 时代, 高性能计算为研发创新注入新动力。海量数据是驱动生成式AI 发展的关键资源, 尤其在生命科学和医疗保健领域, 每天都在产生大量多组学数据。然而, 如何高效利用这些数据仍是一大挑战。亚马逊云科技通过任务编排工具、弹性HPC 平台和高质量公开数据集支持, 帮助用户快速分析海量数据, 加速研发创新。

一方面, 任务编排工具可自动化调用后续任务, 高效管理复杂的生物信息分析流程。另一方面, 灵活的HPC 平台提供750 多种服务器实例, 满足不同场景需求, 并支持容器化部署, 加速应用迭代。此外, 提供官方维护的多领域公开数据集, 免去用户数据获取和存储的额外成本。

通过这一系列创新服务, 亚马逊云科技致力于为生命科学和医疗保健行业提供高性能计算能力, 助力研发人员高效利用海量数据, 推动生成式AI 在该领域的创新应用。这不仅有利于提高研发效率, 降低成本, 更将促进行业数字化转型, 释放生成式AI 的巨大潜能。

2024 年 5 月 29 日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。