关键字: [Amazon Clean Rooms, Data Collaboration, Privacy-Enhancing, Machine Learning, Differential Privacy, User Privacy]

本文字数: 3800, 阅读完需: 19 分钟

导读

亚马逊云科技AIML 广告技术和营销技术总经理Tia White 女士发表了题为” 亚马逊云科技Clean Rooms - 重新定义Clean Rooms ML 和差分隐私” 的演讲。 她阐释了亚马逊云科技Clean Rooms 如何让企业和合作伙伴能够安全地分析和协作集体数据集, 而无需共享底层数据。具体而言, 她解释了亚马逊云科技Clean Rooms ML 可以在不共享数据的情况下训练自定义机器学习模型和生成相似人群细分; 而亚马逊云科技Clean Rooms 差分隐私则通过向查询结果添加受控噪声来保护用户隐私。该演讲重点阐述了亚马逊云科技Clean Rooms 如何在保护隐私的同时实现数据协作、产生预测性见解, 并优化广告活动和投资决策。

演讲精华

以下是小编为您整理的本次演讲的精华，共3500 字，阅读时间大约是18 分钟。

在这个不断发展的数字化时代, 数据占据着至关重要的地位, 企业正面临着一个矛盾的挑战—— 如何在充分利用数据协作的巨大潜力的同时, 维护用户隐私的神圣性。亚马逊云科技AI/ML 广告技术和营销技术总经理Tia White 揭开了两项突破性能力的面纱, 这两项能力有望弥合这一鸿沟: 亚马逊云科技CLEAN ROOMS Machine Learning 和亚马逊云科技CLEAN ROOMS Differential Privacy 。

在这个重要时刻, 亚马逊云科技CLEAN ROOMS 解决方案架构师Ryan Mulke, 以及嘉宾The Weather Company 数据产品主管Julianne Jennings 和同一机构的客户数据产品架构主管Sam Saha 与Tia 一同出席, 共同阐释这些创新对企业运营和协作方式可能产生的深远影响。

数字数据的指数级增长令人瞠目结舌。Tia White 生动地描绘了这一现象, 揭示全球创建、捕获、复制和消费的总数字数据量预计将达到30% 的复合年均增长率。仅在2020 年, 就产生了高达64.2 泽字节的数字数据, 行业预测到2025 年, 这一数字将飙升至180 泽字节的空前水平。这种爆炸性增长源于流媒体视频、社交互动、电子商务和教育等数字化参与, 使数据拥有了前所未有的力量。

随着企业努力利用数据的力量来推动业务成果, 他们越来越渴望与合作伙伴合作, 从这个庞大的信息宝库中产生洞见并释放其内在价值。然而, 一个可怕的障碍横亘在他们面前—— 数据的碎片化。数据分散存在于不同的存储库、应用程序、渠道、部门, 以及在与外部实体合作时, 存在于各自孤立的系统中。这种碎片化造成了互操作性和可扩展性挑战, 极大地限制了数据获取, 因此减缓了构思、交付, 最关键的是决策。

在这股数据洪流中, 企业面临的最紧迫挑战是如何保护用户、消费者和客户的数据隐私。Tia White 强调了这一问题的紧迫性, 强调许多组织迫切需要一种更好的方式来管理收集、存储和使用敏感数据的方式, 同时确保合规性并保持强大的隐私态势。

借鉴在严格监管的金融服务业的丰富经历,Tia 分享了一个生动的轶事, 阐明了数据协作的复杂性。她回忆了一些假设情况, 在这些情况下, 她不得不与联合品牌合作, 例如信用卡公司与零售商合作。这些合作往往困难重重, 因为共享数据的过程非常艰难, 需要长期的合同协议, 可能需要数月、数季度, 甚至一整年的时间。这一漫长的过程阻碍了业务发展, 在业务影响力的必要性与保护客户隐私的至高无上需求之间产生了内在的张力。

正是在数据碎片化、隐私问题和协作障碍的背景下, 亚马逊云科技 CLEAN ROOMS 应运而生, 成为希望的曙光。在上一届亚马逊峰会上推出的亚马逊云科技 CLEAN ROOMS 使企业及其合作伙伴能够安全地分析和协作他们的集体数据集, 而无需共享或复制底层数据。这一创新解决方案使企业能够在几分钟内创建安全的数据清洁室, 为广告活动、投资决策、研究努力和实验等领域提供有意义的见解, 同时保护知识产权。

为了强调数据协作领域隐私和数据保护的重要性,Tia White 分享了亚马逊云科技在现有客户中进行的一项调查结果。这些客户主要来自营销和广告行业。当被问及与数据协作产品和决策相关的最重要方面时, 压倒性的回答是消费者或客户数据保护。此外, 当被询问选择数据协作产品的最关键标准时, 响亮的回答是增强隐私。这些回应与Tia 在亚马逊峰会之前和期间与客户进行的无数次对话产生共鸣, 凸显了寻求能够优先考虑隐私同时实现数据协作的解决方案的迫切需求。

亚马逊云科技难掩兴奋之情, 揭开了亚马逊云科技 Clean Rooms Machine Learning (ML) 的面纱, 这是一项可公开预览的功能, 使公司及其合作伙伴能够应用增强隐私的机器学习技术, 在无需共享底层数据的情况下生成预测性洞见。这项开创性的解决方案消除了在整个机器学习开发生命周期 享数据的必要性, 从训练到构建再到部署。

亚马逊云科技 Clean Rooms ML 下一个可用的模型专门用于创建相似人群细分。通过亚马逊云科技 Clean Rooms ML Lookalike Modeling, 公司可以使用自己的专有数据训练自定义模型, 邀请合作伙伴通过贡献少量种子数据进行协作, 并生成高度准确的相似人群细分。这一功能经过了跨电子商务和流媒体视频等广泛数据集的精心构建和测试, 亚马逊云科技的严格基准测试过程显示, 这些模型的准确性超过行业平均水平25% 至36% 。这意味着可节省大量成本, 潜在金额可能高达数百万美元。此外, 医疗保健相似人群建模功能将在未来几个月内推出, 进一步扩大这一强大解决方案的适用范围。

在亚马逊云科技的发布会上,Tia White 介绍了两项革命性的新功能: 亚马逊云科技 Clean Rooms Differential Privacy (DP) 和亚马逊云科技 Clean Rooms ML 。

亚马逊云科技 Clean Rooms DP 是一种全新的托管解决方案, 旨在帮助企业通过采用数学支持的严格方法来保护用户隐私。 差分隐私是一种强大的数据隐私保护的数学定义, 但配置和实施这种技术可能会很复杂且具有挑战性。亚马逊云科技 Clean Rooms DP 简化了这一过程, 提供了一种直观、全面托管的功能, 有助于防止用户重新识别, 而无需广泛的差分隐私专业知识。

亚马逊云科技 Clean Rooms DP 通过聚合输出, 使任何个人的数据对清洁室协作的贡献变得模糊, 从而使企业能够运行各种 SQL 查询, 以解锁有关广告、投资决策、临床研究等方面的见解。企业可以通过现有或新的协作中的自定义分析角色设置亚马逊云科技 Clean Rooms DP, 从而对隐私参数拥有细粒度控制。

深入探讨亚马逊云科技 Clean Rooms ML Tia White 承认企业在机器学习领域面临的挑战, 包括缺乏熟练专业人员、漫长的流程以及保护隐私的复杂性。亚马逊云科技 Clean Rooms ML 通过提供一种全面增强的现成建模功能来解决这些痛点, 该功能将隐私保护作为首要任务—— 这在清洁室构造中属首创。

客户面临的一大挑战是, 在与合作伙伴构建和运行机器学习模型时, 需要保护用户隐私和知识产权, 而不牺牲使用有价值数据集的能力。亚马逊云科技 Clean Rooms ML 消除了在机器学习开发生命周期 享数据的需求, 使客户能够完全控制和拥有他们训练的模型, 包括何时使用它们、何时生成细分市场以及何时删除它们。Tia White 强调, 客户数据仅用于训练他们的模型, 永远不会被亚马逊云科技重复使用、共享或从中获益, 这体现了该公司对数据隐私的坚定承诺。

客户也希望能够在不透露第一方数据的情况下找到与他们最佳客户相似的用户。亚马逊云科技 Clean Rooms ML 通过提供使用客户数据定制训练且不会重复使用的亚马逊云科技构建的模型来满足这一需求。此外, 客户还希望在机器学习模型中拥有灵活性和可配置性, 以便与合作伙伴一起生成预测性洞见。亚马逊云科技 Clean Rooms ML 在这方面做出了贡献, 提供了直观的机器学习控制, 使客户和合作伙伴能够微调结果, 以更好地与他们的特定用例保持一致。

Tia White 分享了几个引人入胜的用例, 以说明亚马逊云科技 Clean Rooms ML 的强大功能:

1. 美国联合航空公司可以利用其忠实客户的数据, 并与其他公司合作, 向具有类似特征的用户提供促销活动, 从而提高转化率。
2. 汽车贷款机构和汽车保险公司可以识别最近租赁汽车并可能需要保险的潜在客户。
3. 品牌和出版商可以为其目标客户建模类似群体, 并提供高度相关的广告体验, 从而提高广告投资回报率。
4. 研究机构和医院网络可以简化通常繁琐和手动的过程, 以找到与现有临床试验参与者相似的候选人。

Tia White 强调了亚马逊云科技 Clean Rooms ML 的易用性, 这是一个有意的设计选择, 以确保可访问性。该过程始于协作者提供数据来训练自定义模型, 然后邀请合作伙伴贡献类似种子记录的数据集。他们共同创建一个类似群体, 输出结果无缝地传递到 S3 存储桶中, 可立即使用。

揭开差分隐私的神秘面纱

差分隐私是一种数据隐私保护框架, 通过在分析数据集时添加一定量的随机性, 来掩盖个人用户的存在或缺失, 从而实现个人层面的隐私保护。对于大型数据集, 添加或删除几个个体对整体影响很小, 但仍能产生统计上有意义的输出, 这种方法尤其有益。差分隐私可应用于广泛的用例, 包括使用计数查询进行人口分析、直方图、基准测试、A/B 测试, 甚至机器学习。

通过与合作伙伴合作采用差分隐私, 企业可以分析数据, 同时减少对匿名化数据或审查查询的依赖, 从而开辟了产生推动业务影响的洞见的新途径。例如, 美国人口普查局在最新一次人口普查报告中, 采用了差分隐私来分析和报告与美国人口有关的敏感数据。该局对住房单位数据和收入数据应用了差分隐私, 使他们能够发布统计分析, 而不会泄露底层用户数据。

最近, 美国关于人工智能安全、可靠、可信开发和使用的行政命令, 将差分隐私确定为关键的隐私增强技术(PET), 并要求在一定时间内发布明确使用指南。这凸显了亚马逊云科技主动将这些前沿能力推向市场的立场, 使客户能够保持领先优势并维护强大的隐私态势。

差分隐私的实际应用

Tia White 深入探讨了差分隐私在实践中的应用, 尤其是在与业务合作伙伴合作或分析集体数据集时, 确保不会共享任何个人信息。亚马逊云科技Clean Rooms DP 在运行时为SQL 查询结果添加了精心校准的噪声量, 掩盖了个人的贡献, 同时保留了查询的完整性和预期用途。根据具体的使用场景, 公司可以设置差分隐私参数, 如添加到分析中的噪声量或可运行查询的数量阈值, 从而保护个人隐私。

Tia White 强调了亚马逊云科技Clean Rooms DP 的直观性, 旨在让客户无需在该领域拥有深厚的专业知识, 也能轻松使用差分隐私。虽然存在开源的差分隐私解决方案, 但许多客户在实施和配置方面存在困难。亚马逊云科技Clean Rooms DP 简化了这一过程, 提供了一种完全托管的能力, 可以推荐参数, 同时允许客户根据需要调整设置。

公司可以利用亚马逊云科技Clean Rooms DP 与合作伙伴合作, 并针对广泛的使用场景产生见解, 包括广告支出规划、测量营销投资回报率、通过关于驾驶人群的市场洞见补充汽车保险政策, 以及通过与医疗机构合作推进临床试验见解—— 所有这些都无需透露高度敏感的底层用户数据。

设置亚马逊云科技Clean Rooms DP 的过程非常简单, 只需三个简单步骤。在为合作配置亚马逊云科技Clean Rooms 中的表时, 用户可以启用差分隐私, 并利用直观的控件设置所需参数或选择默认设置。然后, 合作伙伴可以像往常一样运行查询, 差分隐私将自动应用于每个查询结果, 无需进行额外的配置或设置。

在这场精彩的演示中, 亚马逊云科技 Clean Rooms 解决方案架构师 Ryan Mulke 为观众展示了亚马逊云科技 Clean Rooms 差分隐私和亚马逊云科技 Clean Rooms 机器学习的强大功能, 让大家一窥未来。

Ryan 以一家咖啡公司和一家流媒体服务提供商的场景为例, 向观众演示了使用亚马逊云科技 Clean Rooms 差分隐私的流程。 演示一开始, 流媒体服务提供商( 第一个客户) 就在其数据上启用了差分隐私, 并配置了隐私预算和噪声水平等设置。接着, 咖啡公司( 第二个客户) 关联了自己的数据, 并开始运行查询, 每个查询都会消耗一小部分隐私预算。一旦整个预算用尽, 就无法再运行任何查询, 从而确保了敏感信息的保护。

Ryan 演示了配置差分隐私设置、运行带有自动隐私保护的查询以及可视化添加了噪声以掩盖个人贡献的查询结果的过程。他还展示了监控查询预算和剩余隐私预算的能力, 为客户提供了对隐私状态的精细控制。

接下来,Ryan 转向亚马逊云科技 Clean Rooms 机器学习, 模拟了咖啡公司和流媒体服务提供商之间的合作, 其中咖啡公司希望接触与其现有忠实客户群体相似的新用户。流媒体服务提供商在其订阅用户观看历史数据上训练了一个自定义模型, 将模式映射到相关字段, 如用户标识符、内容交互和时间戳。

然后,Ryan 演示了创建配置模型的过程, 包括与数据协作过程相关的设置, 如种子受众的大小、最小共同用户阈值, 以及是否共享相关性指标的选项。在将配置模型与协作关联后, 咖啡公司提供了它们的种子数据 - 一个代表目标受众的用户列表。

演示的最后,Ryan 展示了生成相似受众群的过程, 并评估了相关性指标以确定理想的受众规模进行导出。最后一步是将相似受众群的输出数据传送到流媒体服务提供商的账户, 使它们能够摄取这些数据并用于定向广告活动。

客户视角: 天气公司的云端数据隔离室之旅

为了从现实世界的角度展示亚马逊云科技 Clean Rooms 的变革潜力, 天气公司的 Julianne Jennings 和 Sam Saha 登台分享了她们的经历。作为一个值得信赖的品牌, 天气公司为数百万美国人提供准确的天气预报, 在出版商网站扮演着关键角色, 将品牌与其庞大的受众通过广告单元连接起来。

作为天气公司数据产品主管,Julianne Jennings 分享了她在创建数据产品以促进品牌与访客之间连接方面的角色。通过结合不同的数据源, 她策划了定位细分, 使品牌能够触及期望的受众, 并通过广告活动实现关键绩效指标(KPIs) 。

Julianne 强调了天气公司在选择数据隔离室解决方案时寻求的三个关键因素: 上市速度、易用性和快速洞见计算。亚马逊云科技 Clean Rooms 解决方案满足了所有这些要求, 无需长期合同, 使 Julianne 和她的团队能够迅速为广告商创建解决方案。这个直观的平台既适合商业用户, 也适合工程师使用, 而且与传统平台相比, 洞见计算的速度显著加快。

亚马逊云科技 Clean Rooms 为天气公司带来的一大亮点是能够客观地测试和选择第三方数据提供商, 而不完全依赖猜测或销售推介。通过利用数据隔离室环境,Julianne 的团队可以从数学角度评估各数据提供商的表现, 消除偏差, 确保为其产品选择最佳数据。

Julianne 提供了一个实际案例, 说明天气公司如何利用亚马逊云科技 Clean Rooms ML 为一家汽车广告商创建相似受众群体, 该广告商希望将目标对准正在寻找 SUV 的青少年家长。通过在天气公司的库存数据上训练机器学习模型, 并结合广告商的种子受众, 可以生成高度相关的相似受众群体, 扩大了广告商在 weather.com 上的可触及受众。

朱丽安强调了亚马逊云科技 Clean Rooms Differential Privacy 在测量广告活动效果而不泄露个人身份信息(PII) 方面的潜力。通过将差分隐私应用于广告展示数据, 并支持对聚合输出执行 SQL 查询, 天气公司可以为广告商提供有价值的见解, 同时保持强大的隐私保护。

天气公司客户数据产品架构主管萨姆· 萨哈提供了一个详细的参考架构, 演示了将亚马逊云科技 Clean Rooms 集成到他们的数据平台和广告服务器的过程。他向观众展示了两种不同的协作场景: 一种侧重于使用亚马逊云科技 Clean Rooms ML 规划广告活动, 另一种则围绕使用亚马逊云科技 Clean Rooms Differential Privacy 来衡量活动绩效。

在第一种情况下, 作为发布商的天气公司向干净的房间环境提供了客户数据, 以训练自定义机器学习模型。然后, 广告商贡献了他们的种子数据, 从而生成了一个相似受众群体, 该群体可以被引入天气公司的广告服务器进行定向广告投放。

第二种情况展示了差分隐私在衡量广告活动绩效方面的强大功能。天气公司捕获了广告服务器日志, 并将广告展示与广告商感兴趣的活动相关联。这些广告展示被作为配置表引入干净的房间, 并启用差分隐私来设置噪声阈值和隐私预算。然后, 广告商贡献了他们的购买或活动数据, 从而能够在组合数据集上执行 SQL 查询, 同时通过差分隐私控制来保护个人用户数据。

萨姆强调, 天气公司对采用亚马逊云科技 Clean Rooms 感到兴奋, 因为减少了文书工作和官僚主义, 这对他们的法律团队来说是一个重大优势。这些创新功能所提供的速度、可扩展性和增强的隐私保护, 使天气公司能够为客户提供卓越的数据产品和广告解决方案。

当这个启发性的会议落下帷幕时, 蒂亚· 怀特总结了亚马逊云科技 Clean Rooms 带来的深远影响。

亚马逊云科技 Clean Rooms 的深远影响

在这次启发性的会议落幕时,Tia White 总结了亚马逊云科技 Clean Rooms 对企业运营和合作方式可能产生的深远影响。她强调了该解决方案在最小化数据复制和共享的同时, 保持强大的安全和隐私状态的能力, 使企业能够以合规、高效的方式利用内部和外部数据。

通过亚马逊云科技 Clean Rooms ML, 企业可以创建高度精确的相似人群细分, 而无需泄露知识产权或向合作伙伴透露底层数据。这种能力使企业能够开拓新的收入来源, 优化营销活动, 并通过数据驱动的决策实现更佳的业务成果。

此外, 亚马逊云科技 Clean Rooms Differential Privacy 为组织提供了一种数学严谨且直观的方法来保护用户隐私。通过对数据集中个人贡献进行模糊处理, 同时保留洞见的完整性, 企业可以与合作伙伴合作、产生有价值的情报, 并推进广告、投资决策、临床试验等各行业的研究计划。

Tia White 鼓励与会者通过下载亚马逊云科技 Clean Rooms 电子书、探索亚马逊云科技 Clean Rooms ML 和亚马逊云科技 Clean Rooms Differential Privacy 的资源, 以及参观亚马逊峰会展位体验产品演示, 深入了解亚马逊云科技 Clean Rooms 的功能。 她公开邀请与亚马逊云科技接洽, 强调该公司致力于与客户合作, 帮助他们在保护隐私的同时, 应对数据协作的复杂性。

随着数字化进程以前所未有的速度不断演进, 对安全、增强隐私的数据协作的需求前所未有地迫切。通过亚马逊云科技 Clean Rooms, 企业可以在尊重用户隐私的同时, 发挥数据的力量, 开启创新、合作和商业影响力的新领域。

在这个数据至关重要的时代, 亚马逊云科技 Clean Rooms 应运而生, 成为了一道希望的曙光, 照亮了通往负责任的数据管理和道德数据实践的道路。这一开创性的解决方案架起了数据协作与隐私保护之间的桥梁, 赋予企业以信心, 驾驭数字时代的复杂性, 充分释放数据的潜力, 同时维护客户和利益相关方的信任。

总结

亚马逊云科技 Clean Rooms 是一种强大的解决方案, 可让企业安全和私密地协作并分析集体数据集, 而无需共享或复制底层数据。本次会议介绍了两项新功能: 亚马逊云科技 Clean Rooms 机器学习(ML) 和亚马逊云科技 Clean Rooms 差分隐私(DP) 。

亚马逊云科技 Clean Rooms ML 允许企业使用自身数据训练定制机器学习模型, 并与合作伙伴协作生成预测性见解, 如类似受众群体, 而无需共享底层数据。这种增强隐私的功能消除了整个 ML 生命周期中的数据共享需求, 从训练到部署。

亚马逊云科技 Clean Rooms DP 是一项全面托管的服务, 通过向 SQL 查询结果添加精心校准的噪声来帮助保护用户隐私, 从而掩盖个人贡献, 同时保留整体见解。它使企业能够在集体数据集上运行复杂的 SQL 查询, 同时通过严格的差分隐私控制确保强大的隐私保护。

某天气公司分享了它们使用亚马逊云科技 Clean Rooms 与广告商合作的经验, 利用 Clean Rooms ML 构建类似受众群体, 并使用 Clean Rooms DP 测量广告活动的有效性, 而不会损害用户隐私。这些新功能使企业能够发掘有价值的见解、推动业务成果并促进安全的数据协作, 同时将用户隐私和数据保护作为重要任务。

亚马逊云科技 Clean Rooms 以及新的 ML 和 DP 功能, 为增强隐私的数据协作提供了全面的解决方案, 使企业能够在保持强大的隐私保护和保护敏感用户数据的同时, 进行创新、实验和产生有意义的见解。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。