关键字: [Amazon Bedrock, Amazon Bedrock, Generative Ai, Foundation Models, Token Count, Model Invocations]

本文字数: 400, 阅读完需: 2 分钟

导读

演讲者阐释了在亚马逊云科技Amazon Bedrock 的背景下,token 的含义。亚马逊云科技Amazon Bedrock 是一项来自亚马逊云科技的生成式人工智能服务。他探讨了 token 如何代表被分解为较小单元的输入文本, 以便语言模型进行处理, 以及不同模型可能使用不同的标记器来分解文本。演讲者演示了如何在亚马逊云科技控制台中查看 token 计数和记录模型调用, 为了解和监控 token 使用情况提供了见解, 旨在优化成本和故障排除。

演讲精华

在亚马逊云科技(AWS) 新推出的Amazon Bedrock GenAI 服务中,“token” 扮演着关键角色。它是定价的基础单位, 亚马逊云科技根据输入和输出的token 数量计费。因此, 全面理解token 的概念对于开发者来说至关重要。

Token 实际上是将文本分解为模型可识别的数字片段的过程。Mike Chambers 通过一个本地Falcon 模型的示例, 展示了如何将文本”hello world” 分解为两个token 。当输入”hello, comma, world, exclamation mark” 时, 则被分解为四个token:“hello” 、“,” 、“world” 和”!“ 。对于复合词”amazon bedrock is awesome exclamation mark”, 则被拆分为七个token:“amazon” 、“bed” 、“rock” 、“is” 、“aw” 、“sum” 和”!“ 。但在纠正”awesome” 的拼写错误后, 它就成为了一个单独的token 。

值得注意的是, 不同的模型提供商可能使用不同的tokenizer, 因此相同的输入可能产生不同的token 数量。Amazon Bedrock 提供了来自AI21 Labs 、Amazon 、Anthropic 、Cohere 和Stability AI 等五家供应商的模型。

为了了解输入与token 数量的关系,Mike 演示了如何在亚马逊云科技控制台中查看CloudWatch 指标。他选择了AI21 Labs 的Jurassic II Ultra 模型, 输入了”amazon bedrock is awesome!“ 作为示例提示。通过CloudWatch 指标, 可以看到该输入的token 计数为5 。通过持续监控这些指标, 开发者可以更好地把握不同提示与token 数量之间的关系, 优化提示的设计, 从而更好地控制成本。

除了指标之外,Amazon Bedrock 还支持在CloudWatch 日志中记录调用请求和响应。Mike 创建了一个名为”Bedrock log group” 的日志组, 并在设置中启用了模型调用日志记录功能, 将日志发送到该日志组。随后, 他在文本播放器中输入了”hello, i am doing a logging test. what would you like to log today?“ 作为提示, 成功在CloudWatch 日志中捕获到了该请求及模型的响应内容。 这一功能有助于开发者跟踪和审计Amazon Bedrock 的使用情况, 了解模型的输出质量, 并进行必要的优化和调整。

总的来说, 通过本视频,Mike Chambers 深入解释了Amazon Bedrock GenAI 服务中”token” 的概念, 并分享了在亚马逊云科技控制台中监控和记录token 使用情况的实用技巧, 为开发者更好地利用这项新兴技术提供了指导, 帮助他们优化提示设计、控制成本并提高模型输出质量。他还推荐了亚马逊云科技社区网站的” 生成式AI” 板块, 那里提供了更多相关技术的文章和资源, 可以帮助开发者更深入地学习和应用生成式AI 技术。

总结

亚马逊云科技Amazon Bedrock 是一套生成式AI 基础模型集合, 旨在让开发者无缝地将生成能力集成到他们的应用程序中。这段视频探讨了token 的概念, 它构成了Bedrock 按需定价的基础。Token 代表文本提示在被模型处理之前, 由tokenizer 将其分解为的数值单元。

不同模型提供商的tokenization 过程可能存在差异, 导致相同输入提示的token 数量不尽相同。为了理解这种关系, 开发者可以利用Bedrock 控制台中的CloudWatch 指标, 它提供了每次模型调用的输入token 数量的可见性。此外, 开发者还可以配置CloudWatch 日志来捕获与模型交换的提示和响应, 从而实现全面的监控和分析。

通过理解token 并利用Bedrock 中的监控功能, 开发者可以优化他们的提示、有效管理成本, 并获得对所使用的生成式AI 模型的性能和行为的宝贵见解。Bedrock 使开发者能够发挥生成式AI 的力量, 同时保持对底层过程的透明度和控制力。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。