关键字: [亚马逊云科技, Snowflake, 数据存储, 弹性算力, Ai功能, 数据治理, 模型治理]
在这场演讲中,谭长亮解决方案架构师介绍了Snowflake与亚马逊云科技协同打造AI驱动数据分析平台的解决方案。他阐述了Snowflake在存储、弹性计算、AI功能等方面的优势,以及如何与亚马逊云科技服务无缝集成,为客户提供端到端的数据分析和AI应用解决方案。他还分享了Snowflake在金融服务等行业的应用案例,展示了Snowflake与亚马逊云科技合作的架构框架,帮助客户解决数字化转型中的数据挑战,提高业务效率。
以下是小编为您整理的本次演讲的精华。
在当今时代,数据无疑是推动人工智能发展的关键驱动力。作为数据云领域的领导者,Snowflake深谙这一道理,因此它与亚马逊云科技(亚马逊云科技)建立了紧密的合作关系,共同为企业构建AI驱动的数据分析平台。这一创新的合作模式旨在为企业提供坚实的数据基础,加速AI的应用,并将AI的洞见应用于解决实际业务问题,从而释放数据和AI的全部价值。
Snowflake的数据存储建立在亚马逊云科技的S3对象存储服务之上,因此它继承了S3的许多优秀特性。Snowflake不仅能够支持结构化、半结构化和非结构化数据,还支持开源的开放表结构,如Iceberg。对于一些拥有海量数据的大客户而言,如汽车制造业,采用Iceberg表可以显著降低存储成本。一辆自动驾驶汽车每天可能会生成10到50TB的数据,光是存储成本就非常高昂。为了提高Iceberg表的查询性能,Snowflake一直在努力使其接近于自身的原生表FDM(Fully Decomposed Model)。
在计算方面,Snowflake提供了灵活的弹性能力。它的引擎不仅可以运行SQL,还可以运行Java、Scala和Python,为用户提供了统一的体验。由于Snowflake在全球拥有11,000多家客户,它已经在亚马逊云科技上预先创建了一个巨大的资源池。因此,客户只需为实际使用的时间付费,而不必为未使用的时间付费,这为客户带来了极大的成本优势。通过这个平台,Snowflake支持了各种工作负载,包括数据工程、分析、AI、运营应用和数据共享。
虽然我们现在生活在AI时代,但Snowflake认为,没有数据就没有AI。因此,Snowflake的目标是为企业提供一个坚实的数据基础,并加速AI的应用,将AI的洞见应用于解决业务问题,从而释放AI的价值。为实现这一目标,Snowflake提供了一个全面的框架,让用户可以快速、自定义地生成AI。
在这个框架中,Snowflake提供了许多可直接在SQL查询或代码中调用的AI函数,如翻译、情感分析、文本提取、标签分类和通用的Completions推理函数。用户还可以将这些函数与Snowflake中的表数据动态结合,生成动态结果。例如,用户只需提供一个提示词模板,就可以将表中的数据动态转换为提示词,并获得动态的AI生成结果。
除了函数,Snowflake还提供了一键生成Chatbot的Context Search功能,建立在RAG(Retrieval Augmented Generation)框架之上。用户只需指定要提取的非结构化文件(如PDF或内部文本),并通过几个点击即可生成Chatbot。在这个过程中,Snowflake将文档文本提取、分段(Chunk)和向量化(Embedding)等步骤封装为单独的SQL函数,让用户可以灵活地调用和组合这些功能。最终,生成的知识库可以与Amazon Kendra等工具集成,为用户提供自然语言查询服务。
除了函数,Snowflake还提供了一些界面应用程序,如Document AI。用户只需将图像(如小票或发票)上传到Snowflake的存储区,就可以通过自然语言指令让AI自动提取其中的结构化数据,如商家名称、金额和购买项目等。这些提取的数据可以整合成结构化表格,方便后续的分析使用。
Universal Search是Snowflake提供的另一个非常重要的功能,它建立在Snowflake的Horizon数据治理和访问控制之上。由于AI的广泛应用,客户往往担心AI会泄露他们不应该访问的数据。但在Snowflake中,AI功能在生成提示词时,只会提取用户有权访问的数据元信息,从而确保AI只能访问授权数据,为用户提供更精确的结果。
为提高工程师和分析师的生产力,Snowflake提供了Copilot功能。用户可以使用自然语言与Copilot交互,获取代码建议和改进,甚至在Snowflake的工作环境中直接生成代码。此外,Snowflake还提供了Streamlit,允许用户使用Python创建数据可视化应用程序,并与外部API集成,将Snowflake内部数据与外部数据相结合。
对于更高级的自定义需求,Snowflake提供了Snowpark容器服务,允许用户在容器中部署自己的环境和模型。用户还可以自定义Web界面,并将其公开在Snowflake上。如果以上功能仍无法满足需求,Snowflake还可以与亚马逊云科技的其他服务(如Bedrock和SageMaker)集成,提供更全面的解决方案。
为了更好地说明Snowflake与亚马逊云科技合作的价值,我们来看一个来自金融服务行业的真实案例。一家知名金融公司需要为其机构投资者客户提供各种金融产品(如债券、股票期权和抵押贷款)的分析报告,以帮助他们构建投资组合。但是,由于这些金融产品可能高达50种不同的数据类型和格式,客户需要为每种产品编写单独的查询,这是一项艰巨的任务。
为了解决这个问题,Snowflake引入了Cortex Analyst,这是一个基于提示的文本生成AI功能。通过与该公司的分析师合作构建提示层,AI可以让机构投资者用自然语言和专业术语查询数据,并直接在Snowflake生态系统内获取所需答案和数据,无需再通过其他途径获取数据。高盛等其他金融机构也在使用类似的解决方案,将ESG(环境、社会及公司治理)数据整合并提供给投资者进行分析。
最后,我们来看一下Snowflake与亚马逊云科技服务协同打造AI驱动数据分析平台的参考架构。该架构将各种数据源通过亚马逊云科技服务(如AppFlow、Data Firehose、IoT Core和S3)无缝地导入Amazon S3对象存储。然后,数据被加载到Snowflake的原表中,通过Snowflake的内部加工或调用亚马逊云科技服务(如Bedrock模型)进行处理,生成用户所需的数据。处理后的数据可以通过Streamlit等工具呈现为用户应用程序。
在这个架构中,数据ingestion往往是客户的痛点所在。为解决这一问题,Snowflake与亚马逊云科技的多种服务紧密集成。例如,对于SaaS数据,可以使用Amazon AppFlow服务;对于实时数据,可以使用Amazon Data Firehose与Snowflake的Snowpipe流式ingestion相结合;对于IoT数据,可以使用Amazon IoT Core和Amazon IoT Greengrass与Snowpipe集成。对于文件数据,可以将文件存储在S3上,并通过Snowflake的Snowpipe自动加载到Snowflake中,然后使用Document AI等功能提取其中的信息。
在数据处理环节,用户可以在Snowflake中使用用户定义函数调用Amazon Bedrock中的模型。同时,Amazon Web Services Airflow与DBT的集成可以为Snowflake中的数据提供全方位的转换和处理能力。最近,Snowflake还与GitHub集成,允许用户将Snowflake工作环境中的代码同步到GitHub存储库中,方便版本控制和协作。
通过这种创新的合作模式,Snowflake与亚马逊云科技为企业提供了一个强大的AI驱动数据分析平台,涵盖了从数据ingestion到AI应用的全流程,帮助企业释放数据和AI的价值,解决业务挑战。
总的来说,人工智能时代的到来,离不开数据的支撑。Snowflake和亚马逊云科技的合作正是为企业提供了这一坚实的数据基础,并加速了AI的应用,使企业能够更好地利用AI的洞见来推动业务发展。我们有理由相信,这种创新的合作模式将为更多企业带来价值,助力它们在数字化转型的道路上行稳致远。
亚马逊云科技与Snowflake协同打造AI驱动数据分析平台,为企业提供了一个整体解决方案。Snowflake建立在Amazon S3存储之上,支持结构化、半结构化和非结构化数据,并与开源表结构如Iceberg无缝集成。它提供弹性算力,可运行SQL、Java、Scala和Python,根据实际使用时长精确计费,降低成本。
Snowflake在AI方面提供了丰富的功能,包括翻译、情感分析、文本提取、标签分类等,以及通用的推理函数。它还支持上下文搜索、文档AI、通用搜索等应用,以及Streamlit等自定义开发工具。此外,Snowflake与亚马逊云科技服务紧密集成,如AppFlow、Data Firehouse、IoT Core等,实现无缝数据接入。
通过与亚马逊云科技的深度协作,Snowflake为企业构建了一个AI驱动的数据分析平台,加速AI在企业中的应用,提高业务效率,为客户创造价值。该平台已在金融服务等多个行业得到成功应用。
我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出,企业要从“成本优化”转向“创新驱动”,通过完善的数据战略和AI云服务,把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域,通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验,助力企业在AI时代突破。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70038688/viewspace-3090906/ ,如需转载,请注明出处,否则将追究法律责任。