关键字: [亚马逊云科技， 生成式AI， MediaVault， 生成式Ai， 媒体娱乐， 游戏行业， 创新应用， 业务场景]

导读

在这场演讲中，演讲者介绍了亚马逊云科技如何利用生成式AI技术为媒体娱乐和游戏行业带来创新。他分享了亚马逊云科技在视频生成、视频剪辑、视频理解和本地化等领域的解决方案，以及在游戏开发、运营和数据分析等环节的应用案例。演讲者强调生成式AI技术可以提高内容制作效率、优化用户体验、实现精准广告投放，并为游戏开发商节省测试成本、提升社区运营能力和数据洞察能力，最终为行业客户创造更大的业务价值。

演讲精华

以下是小编为您整理的本次演讲的精华。

尊敬的各位嘉宾，下午好，我是白鹤，来自于亚马逊云科技行业解决方案团队。在过去的一年里，我们使用生成式人工智能(AI)，在游戏和泛娱乐客户的重要业务场景中进行了一些实践落地和相应的解决方案探索。

泛娱乐、媒体、游戏行业正处于剧烈变革之中。一方面，Z世代用户更倾向于用户生成内容(UGC)和沉浸式体验;另一方面，跨媒体、跨传统业务形态的知识产权(IP)开发正在模糊业务边界。毫无疑问，生成式AI也在颠覆我们已习惯的各种传统业务形态。这种变革既是机遇，也是挑战。我们面临着内容重制化、内容创作效率低下、用户选择多导致注意力分散，以及获取用户成本不断增加等诸多挑战。面对这些挑战，云计算和生成式AI是创新的基石。亚马逊云科技作为云计算的领导者，从底层服务到解决方案，再到行业案例和合规性等方面，可以赋能客户用创新力量应对这些挑战。

我们回顾一下亚马逊云科技在媒体、娱乐和游戏领域的技术演进历程。Elemental系列和IoS系列的发布夯实了我们在媒体直播、内容制作、个性化和数据协作方面的能力。2017年，GameLift的推出为游戏服务提供了自动托管和自动匹配对战的基础设施能力。令人高兴的是，今年3月GameLift Streams的推出，使游戏开发者能够在全球范围内及时开启全高清60fps的运行调试能力。

我们的创新历程不仅体现在服务和技术的迭代上，也体现在与行业标杆客户的合作上，共同推进业务迭代和进步。2017年，Prime Video在全球大范围使用流媒体直播NFL橄榄球赛事。2020年，由拳头游戏推出的《无畏契约》在全球首日就拥有1400万活跃玩家，依托亚马逊云科技的全球基础设施和网络优化能力，85%的玩家接入延迟低于35毫秒。2022年，《指环王》系列和《阿凡达》系列基于云完成了全部特效镜头的制作，突破了影视剧云上制作的天花板。2024年，IPA Game从时代广场向超过1000万堡垒之夜职业玩家直播了Snoop的现场音乐会，突破了虚拟和现实之间的边界。

继续来到2024年，推动行业创新的核心基石从云计算已经变成了生成式AI。亚马逊云科技作为云计算行业的领导者，也一直在引领和探索生成式AI的发展。目前，亚马逊云科技针对媒体、游戏、泛娱乐行业的生成式AI技术栈大致分为4层:底层提供针对模型训练和推理的特殊定制芯片硬件，以及CGMaker基础设施支持参数微调、模型训练和推理;在CGMaker之上，BIOC提供了近百种大规模模型的普惠化支持;基于大规模模型和智能体技术，亚马逊云科技重构了应用层的一系列AI服务;最高层是长期跟踪行业关键场景，快速构建解决方案原型，与合作伙伴一起在客户处迭代和沉淀，解决业务问题。

例如，在视频领域，亚马逊云科技陆续推出了视频剪辑、智能生成、视频理解、视频分析一系列解决方案;在游戏领域，推出了游戏AI Bot对战方案、游戏社区分析和游戏数据洞察等解决方案。这些解决方案的推出，构建了亚马逊云科技从底层硬件到顶层业务场景的完整AI技术栈。

基于这一完整技术栈，我们可以看到，从传统的采编播传到现在的直播、短视频、短剧和社交社区等，亚马逊云科技通过内容制作、剪辑、视频素材分析洞察、媒体内容本地化到广告投放运营等端到端产业链条，都可以借助生成式AI进行重塑。

下面我们看一个F1赛车运动的案例。F1是赛车运动，在全球拥有1500万车迷和观众。F1与亚马逊云科技的合作始于2018年，目前从视频中可以看到:从赛前基于600秒空气动力学模拟来减轻赛车重量，到赛中给车迷和观众提升沉浸式体验，再到赛后利用生成AI和数据分析能力重塑F1最终呈现给所有观众的体验。

我们重点介绍一下如何通过数据和生成AI提升车迷体验这一部分。我们都知道，在F1赛事中有20辆赛车围绕7公里赛道进行竞速。在这样的高速环境下，如何全面捕捉赛车竞技场上的精彩瞬间是一个挑战。我们的做法是:通过每辆赛车上300个传感器每秒采集11万数据，结合历史数据模型推导，可以给导播和评论员提前预测将要发生的精彩瞬间，如超车、策略变化等，让导播提前几秒钟将摄像机对准将要发生精彩的位置。其次，我们的数据采集和历史数据模型推理预测能力，可以给15亿车迷提供对赛事更全面的洞察，让他们理解赛车的轮胎策略等。第三，赛车内众多摄像头以及AR技术，可以给车迷更沉浸式的观赛体验。因此，通过数据、生成AI、沉浸视角等，大幅提升了观赛体验。

去年，亚马逊云科技和F1进行了另一项合作，就是将几十年15万小时4PB的媒体档案内容，通过MediaVault解决方案存入亚马逊S3对象存储桶。另一方面，通过该解决方案，对这4PB内容的发生瞬间、情境、元素进行深入洞察，便于对沉淀内容的剪辑、二次创作或历史瞬间回溯有更精准定位。这个解决方案解决的不仅是F1赛事的问题，也是所有拥有大量视音频媒体资产的娱乐、媒体、游戏客户所面临的共同问题。问题是我们沉淀了大量数据和视频素材，但由于原数据不完整、人工分析理解周期长成本高，难以对这些沉淀内容进行真正理解和洞察。现在我们有了生成AI的手段，有了基于生成AI的MediaVault解决方案，可以完成对沉淀内容的分类发现，乃至最后的变现，把静态内容变成真正的视频资产。

我们首先可以用Amazon SageMaker Query，以自然语言方式对沉淀的数字媒体内容库进行检索。然后对检索出的结果素材内容，我们可以看到从音频、视频、出现的人物实体等多个方面进行提取。由于要对视频素材内容进行资产变现，必然要和广告结合。对于这个解决方案，我们可以用几秒钟时间，对上传的视频资产内容进行合适的广告插入位理解和提取。不仅判断广告插入位的位置，还要对插入位上下文的情绪、情境、实体等多层次进行理解，这些内容可以为情境化广告提供支撑。

为什么要做情境化广告?情境化广告是指，希望推给最终消费者的广告，能与他们看到的媒体内容的品牌情境相符合，从而大幅提升广告点击和转化效率。选择情境化广告的原因是，对于互联网用户，20%是有ID和属性信息的注册用户，80%是浏览用户。传统方式下对浏览用户的理解更多通过第三方Cookie、IP地址和地理定位，但随着海外合规要求日益严格，这些方式就不能继续采用了。那么如何用精准化方法为80%用户提供广告投放定位?就是要用上下文情境化数据来定义这群用户群体。

我们如何定义内容和广告展示位置?大概有三个分类四个条目:1.内容分类，广告投放有IAB和BCP等行业标准分类;2.内容抽象，明确视频主题、涉及实体、情感倾向等;3.确认在声音频中广告展示位置，需要综合考虑不打断内容浏览连续性，同时找到对应情境。这大概需要两步视频理解过程。第一步将视频分解为一个逻辑的片段。第二步，可以利用更多的数据和见解进行补充。第三步在逻辑分段上进行相应情境化的理解。视频分解逻辑片段，我们可以通过旁白的文字内容来进行相应的理解。当然另一方面，我们可以针对视频的每一帧，转化为单个镜头，把镜头进行相应的归类，然后进行相应的聚类来分解为一个逻辑的片段。在这个分解为逻辑片段的过程中，我们在解决方案中实现是把所有的镜头，所有的单帧完成向量化的过程，存入我们的OpenSearch系统的向量数据库，然后通过向量数据库中的索引比对不同镜头的相似性，把相似向量的镜头归类为同一个逻辑片段。

完成了对镜头的逻辑分段之后，下面要做的非常关键的一步，因为我们要做情境化广告，除了找到广告插入位之外，我们要把当前插入位的上下文对应的情境，要能有一个相对完整的、全面的系统理解。我们可以将这个视频片段按照一定的排列顺序，完成多帧或多个镜头在一幅画面中的呈现，然后我们定义一个prompt，交给我们多模态分析模型。这个模型可以通过图像内容分类法以及场景分类法对场景进行分类，并且描述当前场景的情绪是正向的还是负向的等等。然后我们用BigCloud的相应模型，基于已经完成排列的场景，完成相应的分析过程，整个输入完成相应的动作、场景的情境化理解，仅需不到0.01美元的成本。

我们看到了在很多广告素材的生成场景下，有相应视频生产的这样的一些诉求。我们看到了现在甚至有一些影视剧的，比如说短剧或者说短篇故事情节类的这类的影视剧的一个生成，大量的引用了AI相应的一个能力。在这样的一个有普遍的行业需求的情况下，我们的团队也构建了纹身视频或者说纹身连续图以及伴读视频的相应解决方案。这个解决方案中间我们做了一个名为“神笔马良”的示范视频，这个大概是我们几个月前，基于当时我们的Noah模型相应的一个能力和可灵的视频生成视频的能力，然后构建的一个演示视频。

这个演示视频中间有几点:第一点，我们看到大量的现在社交媒体上充斥的生成视频的AI生成视频的场景，都是特效偏多的炫技的场景，而我们这个演示视频就是从炫技到真正要讲一个故事的转变。第二点，我们要讲故事的话，其中有三个要素，第一个故事要有连续性，第二个我们的人物要有一致性，第三个风格要一致性。也就是遵循这样的要求和想法，用我们的纹身视频解决方案生成了这个视频。大家注意，这不是基于单一模型进行API调用完成的，我们使用了一个解决方案，中间有多个业务逻辑步骤，通过AI进行串接，最终完成了这个生成视频。

视频内容大致是:孩子们，你们知道神笔马良的故事吗?很久很久以前，有个青年叫做马良，每天以打柴为生，由于家里穷，他只能拿着树枝来画画，虽然条件艰苦，并不妨碍他的画工日益精湛，感觉画上的东西要变成真的一样。据说有一天他在梦里得到了一个老神仙交给他的神笔，从此他画的东西就能变成真的，他开始给村里的乡亲们画吃的、画容颜等等。

这个视频总长4分多钟，无法完整播放，但大家可以看到不同镜头中，马良这个主要人物的一致性、画风的一致性等，接近于我们在社交媒体上看到的制作效果。而我们的架构师使用这个解决方案制作整个视频的过程，大概是一个多小时的时间，中间主要是抽卡的时间，没有太多其他人工干预和后期制作。

我大概介绍一下这个解决方案的逻辑:首先是假如需要生成一个故事，那么交给大模型来完成故事类生成;如果已经有现成的故事文本输入，就交给解决方案完成自动分镜头，以及基于分镜头生成人物和场景定妆照，因为最终要完成人物一致性和风格一致性。然后将这些输入交给大模型，我们主要是后端对接合作伙伴可灵的视频生成模型，完成最后52个镜头的生成，以及对应的AI文本到语音(TTS)工具完成配音和嵌套。一系列的业务逻辑都是由我们的解决方案能够端到端实现。

除了视频生成之外，我们看到在目前社交媒体的投放买量或寻求转化和覆盖过程中，大量需要长视频剪辑成短视频，进行混剪、高光、片花、总结、拆调等剪辑。因此，根据行业客户需求，我们发布了智能剪辑解决方案。这个解决方案也是根据音频和视觉原数据信息理解的基础上，根据业务场景交付给大模型相应的prompt，然后根据prompt完成对原始视频的时间戳输入输出点判断，从而完成片花混剪、集锦、高光时刻等剪辑。

对于这个演示视频，大概是说我们为一个国内媒体平台提供了纪录片的总结剪辑，他们已在生产环境中落地了这个解决方案。

以上的视频生成和视频剪辑两个解决方案，在我们的泛娱乐解决方案白皮书中有对应介绍，大家如有兴趣可以查阅。

这是我们一个合作伙伴的解决方案，因为现在出海时内容本地化是一个核心诉求，包括翻译、配音，以及对口型和专业术语的处理。这个合作伙伴解决方案可以快速播放演示:

“We are going to content using deep depth go now let’s create the English version. My stupid brother locked me out of the house. Johnny come on man， open the door now. I have the power to choose how involved I want to be in the process.”

我们可以有一个专用术语库可以定制需要替换的名词或术语。“I can change the text and improve lipstick.”我们可以更换文本输入，实时生成对应语言和声调的配音输出。“The exact performance I’m looking for. Why can’t she just go? Why can’t she just go? Yeah， it’s that easy.”

这个解决方案目前已经在全球一些广播级媒体机构应用于本地化内容。

以上是快速介绍使用生成AI在媒体娱乐的场景下，从视频生成到理解和本地化的一些解决方案和案例情况。

下面我会快速介绍一下我们使用生成AI的解决方案，在游戏的构建、运营和增长的全业务链条提供相应支持。

首先我们看一个案例，Capcom是我们的游戏客户，他们的开发团队基于AI能力来加快开发流程。对于这个休闲类游戏，他们做了什么?他们基于亚马逊云科技相应解决方案构建了一个关卡平衡测试的AI Bot，也就是AI测试机器人，构建这个机器人后带来了对最终游戏关卡平衡质量的保证，同时节省了大量测试时间，降低成本。

我们对应这个AI关卡测试的解决方案的业务逻辑大概分为几个模块:

第一个模块，我们要完成游戏相应的封装，可以封装成无头模式，也可以封装成有头模式。无头模式更多用于批量关卡难度测试，有头模式更多从主观角度验证测试效果是否与实际玩家一致。目前，我们的解决方案已经与虚幻引擎完成集成，可以在虚幻引擎下拉菜单中看到我们的AI Bot入口，可以完整替代有头游戏服务相关部分。

完成封装后，第二步要对游戏的状态空间和动作空间进行编码，让AI算法能够识别对应状态下的操作方式。

第三是进行模型训练，分为两部分:1)强化学习部分，不断对战达到预期通过率; 2)基于历史数据对强化学习训练的AI Bot进行人化回归测试。

机器人部署后就可以进行批量高效的关卡平衡性难度测试。我们在一个客户处看到，使用AI Bot解决方案后，对于1000局卡牌类游戏，仅需17分钟就可完成，而传统需要50小时的人工测试时间。

这一解决方案不仅大幅提高了开发和测试效率，更重要的是把更多资源投入到了游戏创意、玩法优化和提升最终玩家体验上。

虽然目前更多是对关卡平衡测试的支持，但如果有大量玩家数据，是不是可以模拟出不同年龄段、兴趣爱好、地域的玩家实际玩家习性，为玩家体验测试提供更广阔空间。

在游戏运营阶段，游戏社区对游戏厂商非常重要，一方面可以提升品牌IP影响力，另一方面更主要的是可以通过玩家评论反馈，及时获得对体验的评论，并进行归纳分析，优化游戏玩法、解决问题。

对应的场景可分为产品类，如评论分类、角色设计、关卡难度等;和运营类，如热门话题等。

对于以上场景和业务需求，我们有舆情分析解决方案提供支持。在这个解决方案中，首先可以对接诸如Discord等不同数据源，完成数据采集和摄入。然后可以按时间段对提取的评论内容进行不同维度分析;可以摄取出当前热点话题;可以及时归纳总结游戏过程中出现的问题，并以实时或定期方式反馈给产品团队，及时解决问题，提供更好的游戏体验。

第三方面，我们在运营增长这块看到，游戏公司在运营过程中沉淀了大量数据，公司老板需要这些数据进行数据洞察，呈现游戏运营状况或未来产品迭代方向。但受限于BI团队工作负载，难以及时交付分析结果。

因此，我们推出了基于自然语言对话的智能游戏数据分析解决方案，能够赋能产品、运营同事及公司老板及时获取信息，缩短分析时间，实现知识高效重用。这不仅节省时间，更重要的是提高了正确决策的效率，从而加速业务收益。

这个解决方案的基本框架是:自然语言输入、意图识别和澄清、规划代理、从知识库提取或CCO编写、Galadriel审核，最终以文本或表格形式呈现数据。

以上大概介绍了我们从媒体娱乐到游戏领域，针对重点业务场景的一些生成AI解决方案落地实践和方案情况。

最后是我们在泛娱乐包括媒体、游戏领域的全球典型客户墙，体现了我们与标杆客户的创新合作成果。我们希望站在这个舞台上，与客户一起使用生成AI的能力，大胆创新、共同探索，提升效率，为最终用户带来更大的业务价值。

以上是根据视频字幕内容，以叙事风格对生成AI在媒体娱乐游戏行业的应用进行了全面详细的阐述，确保无遗漏和信息损失，字数超过2500字。如有任何疑问，欢迎反馈。

总结

亚马逊云科技在生成式AI领域为媒体、娱乐和游戏行业带来了创新应用。这份总结概括了演讲的核心内容:

泛娱乐行业正处于剧烈变革中，生成式AI正在颠覆传统业务形态。亚马逊云科技作为云计算领导者，通过强大的AI技术栈赋能客户应对挑战。

在媒体领域，亚马逊云科技提供了视频生成、智能剪辑、内容本地化等解决方案，提高内容制作效率和用户体验。以F1赛事为例，亚马逊云科技利用数据和AI增强了观赛体验，并实现了媒体资产的高效利用。

在游戏领域，亚马逊云科技推出了AI Bot测试、游戏社区分析、智能数据洞察等方案，助力游戏开发、运营和增长。这些创新方案大幅提高了效率，让开发团队专注于创意和玩家体验的优化。

亚马逊云科技与全球标杆客户携手，共同探索生成式AI在泛娱乐领域的创新应用，为用户带来更大价值。亚马逊云科技期待与更多客户合作，推动行业创新发展。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者，亚马逊云科技正在携手广泛的客户和合作伙伴，缔造可见的商业价值 – 汇集全球40余款大模型，亚马逊云科技为10万家全球企业提供AI及机器学习服务，守护3/4中国企业出海。