关键字: [Amazon Bedrock, Text Generation Models, Customer Support Applications, Document Processing Capabilities, Prompt Engineering Techniques, Model Selection Criteria]

本文字数: 2800, 阅读完需: 14 分钟

导读

演示中, 演讲者们阐述了Amazon Bedrock 如何让开发者能够利用来自各种供应商的生成式AI 模型, 用于广泛的应用场景, 如客户服务、内容创作和工作流程优化。他们解释说,Amazon Bedrock 提供了具有不同功能、上下文大小和定价的模型, 以满足不同的需求。该演示重点介绍了Amazon Bedrock 如何让开发者能够轻松地将基础模型纳入他们的应用程序、使用自定义数据对模型进行微调, 并利用提示工程和防护栏等功能实现负责任的AI 。演示还展示了来自Alida 等公司的真实案例, 展现了使用Amazon Bedrock 进行文本分析和其他生成式AI 应用的优势。

演讲精华

以下是小编为您整理的本次演讲的精华，共2500 字，阅读时间大约是12 分钟。

在令人着迷的云计算和人工智能领域, 亚马逊云科技(Amazon Web Services) 推出了一项突破性的服务, 名为Amazon Bedrock, 利用了生成式人工智能模型( 也称为基础模型) 的强大功能。这些非凡的模型能够处理各种数据类型, 从长格式文档和消息到日志, 为各行各业带来变革性的影响, 预计在未来几年内将产生数万亿美元的经济效益。

Amazon Bedrock 服务的创始成员乌斯曼· 安瓦尔(Usman Anwar) 阐明了这些基础模型的巨大潜力, 强调开发人员正在积极利用生成式人工智能来提升客户体验、提高组织内部员工的生产力, 并通过消除低效率来简化业务流程。他举例说明, 从零售商到软件即服务(SOFTWARE-AS-A-SERVICE) 提供商的各个领域的组织都在利用生成式人工智能开发能够在无需人工干预的情况下解决客户疑问的自主人工智能代理。此外, 他还强调了一些初创公司正在赋予个人创建独立制作将极具挑战的内容的能力, 以及一些企业正在重新思考涉及大量数据处理的工作流程。

为了说明这些模型的实际应用, 乌斯曼提出了一个令人信服的客户支持用例, 这个领域特别适合基础模型。他演示了如何让一个文本生成模型与一位购买电视机后遇到问题的客户进行对话, 仅需十个对话就能节省卖家和客户宝贵的时间。由基础模型驱动的人工智能聊天机器人能够从简单的订单详细信息中检索有关电视机的具体信息, 并提供量身定制的指导, 从而高效地解决问题。

乌斯曼进一步阐释了这项技术的潜力, 展示了卖家如何利用基础模型来提升为所有客户提供的客户支持功能。他通过将多个客户的记录传递给基础模型( 特别是LLaMa 13B 模型), 生成了一个包含订单信息、产品详细信息、特定遇到的问题及其解决方案的综合表格。这个全面的表格可以为卖家提供宝贵的见解, 以改善他们的客户服务运营并根据客户反馈完善产品目录。

认识到记录作为数据源的普遍性, 乌斯曼演示了如何使用AI21 Jurassic-2 Ultra 模型在Amazon Bedrock 上从会议记录中提取清晰的待办事项列表, 包括分配的所有者和到期日期。他设想开发人员利用这一功能创建应用程序, 不仅可以提取此类信息, 还可以在参与者的日历上安排任务并进行跟踪, 从而节省时间并促进更好的结果。

乌斯曼展示了这些模型的多功能性, 使用Claude 2.0 生成了一篇关于美国时尚趋势的博客文章大纲, 提供了一个简洁的大纲和相关的子主题, 使他能够有效地进行进一步研究。

此外, 乌斯曼强调了基础模型从复杂文档( 如法律合同) 中提取特定信息的能力。他以使用Cohere 的Command 模型从合同中提取当事人姓名和开始日期为例, 这一能力对于法律专业人士可能是无价的, 使他们能够根据即将到期的日期来优先审查合同。

随后, 乌斯曼展示了一个用例, 说明文本生成模型如何能够简化繁琐的工作流程。他举例说明了一家虚构的活动公司, 客户必须遵守一个复杂的付款时间表。通过利用Claude 模型并提供交易历史记录, 该模型可以确定客户是否遵守了合同, 并提供详细的分析来支持其结论。这可能使开发人员能够构建应用程序, 同时分析数百份合同, 生成需要跟进的客户列表, 甚至自动化跟进过程或提供替代付款时间表。

在Amazon Bedrock 平台上, 亚马逊云科技为客户提供了来自领先人工智能初创公司的多种文本生成模型, 包括 Anthropic 、Cohere 、AI21 Labs 以及它们自己的 Titan 模型, 以满足那些更偏好第一方解决方案的客户需求。该公司保证将继续扩大这一选择范围, 最近已将 Cohere 、Meta 和 LLaMa 2 模型添加到该平台, 该平台现在包含超过 13 亿个参数。

该公司强调, 在应用程序开发过程的早期阶段, 确定预期的使用案例和模态( 文本生成或图像生成) 非常重要。可以通过在线评估研究和基准测试, 以及个人实验, 来确定哪些模型或模型组合最适合特定应用程序。然而, 该公司警告说, 由于安全或政策考虑, 模型提供商可能会禁止某些使用案例, 因此需要审查许可协议和可接受使用政策。

该公司解释说, 基础模型经历了多阶段的创建过程, 首先是在原始数据集上进行预训练, 然后使用标注数据集进行完善或微调, 以更好地与人类偏好保持一致。在 Amazon Bedrock 上提供的用于按需推理的模型是经过微调的变体, 可以立即使用。它建议开发人员通过查阅模型卡片来熟悉” 预训练” 、“ 指令调优” 和” 对话调优” 等术语, 以了解训练过程并设置适当的期望值。

虽然以参数数量衡量的模型大小一直是社区讨论的话题, 但该公司指出, 提供商正在摆脱强调模型大小的做法。相反, 它们正在探索除了简单增加模型大小之外的其他方法来实现预期结果。然而, 当提及模型大小时, 例如 LLaMa 的 13 亿和 70 亿参数模型, 对于复杂任务, 尝试使用更大的模型可能会有助于评估潜在的性能改进。

乌斯曼强调, 基础模型具备支持多种语言的能力, 因为它们是在各种语言的数据上进行训练的。尽管供应商可能未正式列出支持的语言, 但通过实验可以发现在多种语言上表现良好的模型。他提供了一个使用Amazon Bedrock 上的某个模型将简单提示翻译成20 种不同语言的示例, 强调了模型卡片中提供了特定语言的基准测试。

此外, 乌斯曼指出这些模型还可以支持编程语言, 从而实现调试、代码生成和请求修复问题等任务。

上下文大小是另一个需要考虑的关键因素, 它指的是在单个请求中可以处理的输入和输出令牌的总数。Amazon Bedrock 提供了上下文大小从4,000 到100,000 个令牌的模型。更大的上下文大小可以处理长篇文档处理等用例, 并提供了通过提示工程指定规则和偏好以获得更具体结果的机会。然而, 乌斯曼警告说, 不同的模型可能具有不同的输入和输出上下文大小, 因此在尝试不同的用例时需要仔细考虑。

Amazon Bedrock 上的许多模型, 包括TITAN 模型, 都可以进行微调, 通过使用特定领域或用例的标注数据来调整模型权重, 从而提高性能。乌斯曼强调, 客户只使用1,000 条标注数据记录就能实现比基础模型显著的性能提升。

Amazon Bedrock 简化了微调过程, 用户只需指向一个数据集,Amazon Bedrock 就会运行一个微调作业, 并将模型无缝集成到应用程序中, 只需通过一个简单的API 调用即可。

针对何时需要对模型进行微调这个常见问题, 乌斯曼强调了实验的重要性。有效的提示工程可以在不进行微调的情况下产生大量功能, 正如之前使用基础模型展示的示例所示。他建议在考虑微调之前, 先探索不同模型的提示工程最佳实践。

乌斯曼重申了Amazon Bedrock 的目标, 即提供来自第三方供应商和亚马逊自有模型的各种上下文大小、功能和价格点的多样化模型。这种多样性旨在使客户能够为其用例和预算找到合适的解决方案, 因为没有一种解决方案适合所有情况。虽然小上下文大小的模型或许足以执行基本任务, 如问答和客户支持, 但涉及对文档、文章、研究论文或合同进行推理的更复杂任务可能需要具有增强推理能力的大上下文大小模型。

接下来,Dennis Badilov 登台演示了另一个引人入胜的用例, 即从电影剧本生成个性化的广告摘要。利用康奈尔电影对话语料库(Cornell Movie Dialogue Corpus), 其中包含各种电影的对话, 包括标题,Dennis 展示了基于Amazon Bedrock 研讨会的代码示例, 这是一个探索总结、文本生成和分类任务的宝贵资源。

Dennis 选择了电影”10 件我恨你的事” 的剧本, 并将其加载到一个pandas 数据框中, 其中包含电影标题、整个对话和相关的流派。在创建Amazon Bedrock 客户端和助手函数后, 他尝试了一个简单的提示, 指示模型” 根据以下剧本写一个电影描述” 。然而, 这种方法触发了一个验证异常, 因为Claude v2 模型需要在提示中使用”human” 和”assistant” 标签, 以获得最佳结果, 遵循最佳实践。

Dennis 改进了他的方法, 在”transcript” 标签中包含了剧本, 并指示模型避免剧透, 同时针对特定的人口统计群体, 在这种情况下是年轻女性观众。生成的输出与预期的人口统计群体相一致, 使用了吸引该观众的语言。

为了展示提示工程的灵活性,Dennis 将目标人口统计群体参数化为”20 多岁的年轻男性” 。生成的输出相应地进行了调整, 使用了诸如” 受欢迎的运动员” 、“ 反叛的朋克摇滚歌手” 和” 坏孩子” 等术语, 以与新的人群相呼应, 尽管使用的是同一个剧本。

丹尼斯意识到需要仅提取所需的摘要, 因此他进一步完善了提示, 将单词置于Claude 的” 口中”, 指示模型使用Markdown 格式化广告, 并在特定标签之间输出。这种方法产生了一个更加简洁和针对性的127 字的摘要, 展示了模型识别电影、人物和演员的能力, 同时突出了提示工程的迭代性质。

丹尼斯强调了理解不同模型的细微差别并遵守各自的提示指南的重要性。他通过在Claude 、LLaMa 2 和Titan 等各种模型上演示问答任务来阐释这一概念。每个模型都需要特定的提示技术, 以避免潜在的虚构或意外结果, 从而凸显了提示工程和最佳实践的重要性。

例如, 对于Claude 模型, 如果不使用”human” 和”assistant” 标签, 就会发生验证异常。对于LLaMa 2 模型, 建议在”inst” 标签中包含话语, 尤其是对于多轮对话, 并可选择使用”sis” 标签来指导模型的语气和约束。对于Titan 模型, 使用”user” 和”assistant” 标签是获得准确答案所必需的。

丹尼斯还探索了分类任务, 使用包含客户和AI 助手对话的文本段落。他演示了如何一个天真的方法可能会产生对单个话语的分类, 而不是单一的整体分类。通过完善提示以指定所需的格式和类别, 他在包括LLaMa 2 和Amazon Titan 在内的多个模型上获得了正确的” 支持” 分类。

在整个演示过程中, 丹尼斯强调了设计提示模板、跨越各种任务进行测试, 并为生产用例选择表现最佳的提示的重要性。他倡导持续监控、迭代和遵守最佳实践, 以确保获得最佳结果。

接下来, 来自Alida 的Daniel Charles 登场, 分享了他们如何利用Amazon Bedrock 和Alida 以人为本的生成式人工智能解决方案, 彻底革新了文本分析的过程。Alida 是一个客户研究平台, 使得HBO Max 、Hulu X 、Lululemon 、Volvo 和JamCity 等公司能够从客户那里收集定性和定量反馈, 从而促进开发出更佳的产品和用户体验。 凭借超过1.76 亿经过验证和参与的受访者,Alida 的平台继续呈现指数级增长。

Daniel 首先提出了一个关于知名咖啡店Starbucks 的假设评论场景。这篇评论中充斥着俚语, 缺乏标点符号, 给传统的文本分析引擎带来了挑战。在生成式人工智能出现之前, 这些引擎往往会误解情感、提取无关关键词, 并且无法准确把握上下文。

为了解决这些限制,Alida 在Amazon Bedrock 上构建了一个新的文本分析引擎, 利用了Anthropic 模型。结果令人赞叹, 准确捕捉了整体情感分布, 包括应用反馈的正面、负面和中性方面。该模型识别出了具体的问题, 例如登录问题占总内容的7-8%, 并提供了可操作的见解, 使产品和用户体验团队能够有效地解决这些问题。

Daniel 深入探讨了技术细节, 揭示了Alida 如何使用Claude 2.0 模型提示Amazon Bedrock 为应用评论的各个方面生成情感分数。该模型准确识别了对Starbucks 咖啡和移动应用功能的正面情感, 同时也突出了需要改进的领域, 如奖励计划略带负面情感, 以及一项特定的圣诞促销活动情感更为负面, 因为客户花费了10,000 美元但从未赢过任何东西。

在实施过程中,Alida 面临了一些挑战。为了缩小主题列表, 他们通过Prompt 100 计划与Amazon 合作, 并采用了嵌入和聚类技术。另一个障碍是确保在处理概率模型时API 响应的一致性, 他们通过构建一个主题库并将其映射到以前遇到的主题来解决这个问题。

此外,Alida 通过亚马逊的协助, 增加了其AMAZON BEDROCK 速率限制, 并实施了请求批处理, 以优化API 调用并降低成本, 从而解决了API 速率限制问题。

Daniel 对Alida 在生成式AI 领域的未来计划表示兴奋。他们的目标是为客户提供更多对生成标签和主题的控制权, 使其能够用自己的主题训练模型并定制聚类过程。另外,Alida 计划利用生成式AI 进行调查翻译, 使跨国品牌能够毫不费力地将调查翻译成多种语言, 而无需依赖第三方服务。

定量数据的总结是另一个关注领域, 建立在已经展示的定性总结能力之上。Daniel 还强调了开放式提示的潜力, 其中生成式AI 模型可以与受访者进行后续提问, 在调查过程中获得更详细和深入的反馈。

总之,Dennis Badilov 强调在开发和部署生成式AI 系统时负责任的AI 实践的重要性。他强调了在AMAZON BEDROCK 中实施的控制和措施, 包括数据控制、加密、虚拟私有云(VPC) 的私有链路支持、身份和访问管理控制以及CloudTrail 对API 活动的监控。

Dennis 介绍了新推出的AMAZON BEDROCK GUARDRAILS, 这是一个备受期待的功能, 为提示和模型输出提供了针对毒性、仇恨、侮辱、性内容和暴力的内容过滤。此外,GUARDRAILS 还提供了主题控制, 允许用户指定和定义模型应该保持在其中的主题, 确保对话相关和集中。例如, 用户可以通过将其定义为禁止主题来避免模型提供投资建议。

该会议最后提供了开始使用AMAZON BEDROCK 的宝贵资源, 包括AMAZON BEDROCK 入门课程、AMAZON BEDROCK 研讨会, 以及涵盖最新公告和功能的相关博客文章, 如AMAZON AI/ML 博客上关于AMAZON BEDROCK GUARDRAILS 的文章。

总结

Amazon Bedrock 是一项强大的AI 服务, 提供来自Anthropic 、Cohere 和AI21 Labs 等知名供应商以及亚马逊自身的Titan 模型的各种基础模型。这些模型使开发人员能够开启无数用例, 从增强客户体验和提高员工生产力到简化业务流程。

一个引人注目的应用是自主AI 客户支持代理, 能够理解查询、检索相关信息并在无需人工干预的情况下解决问题。初创公司正利用这些模型赋予个人创造他们单独无法完成的内容的能力。企业正在重新思考涉及处理大量数据的工作流程, 利用这些模型从复杂文档( 如法律合同) 中提取见解和生成摘要的能力。

要有效利用这些模型, 开发人员必须精心设计提示, 考虑上下文大小、语言支持和针对特定领域任务的微调等因素。Amazon Bedrock 提供了一系列工具和资源来促进这一过程, 包括提示工程最佳实践、评估基准和微调功能。

随着生成式AI 的采用加速,Amazon Bedrock 优先考虑负责任的AI 实践, 提供强大的控制和防护措施, 以确保数据隐私、安全性和内容审核。凭借对创新和道德AI 发展的承诺,Amazon Bedrock 使企业能够释放生成式AI 的变革潜力, 同时降低风险并维护信任。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。