ITPub博客

Shlomi Noach | 2024 年 11 月 19 日 这是三部分博客系列的最后一部分。如果您错过了之前的文章，可以通过阅读第一部分和第二部分来了解。在这篇结论中，我们将讨论节流器客户端及其身份、协作、优先级和约束问题。 我们的关注点继续放在异步、批量和海量操作上，例如 ETL、数据导入和模式变更。调用这些操作的组件就是节流器的客户端。这些组件需要将操作分解为合理的小子任务，并定期向节流器请求继续执行的许可。这是一种协作模型，客户端请求许可，我们稍后会讨论另一种设计。但首先，我们建议客户端应向节流器表明自己的身份。 即使只是为了分析或调查事件或能够生成指标的高层次目的，您通常也想知道哪些操作在什么时间被节流。您希望能够判断出每日聚合 ETL 作业在 07:00 到 07:25 之间大部分时间被节流。

Taylor Barnett | 2024年2月6日 一年前，我们与 PlanetScale API（应用程序编程接口） 一同推出了限量测试版的 OAuth 应用程序。从今天起，所有人都可以在公开测试版中创建 OAuth 应用程序，并构建与 PlanetScale 无缝认证的集成，使你的应用程序能够管理用户的 PlanetScale 组织和数据库。 PlanetScale 中的 OAuth 应用程序允许你从用户处获得授权，以确定 PlanetScale API 可以与哪些组织和数据库进行交互。 我们经常将 PlanetScale 描述为一个“数据库平台”，因为它不仅仅是一个数据库。它远不止于此。该平台包含了一整套工作流程，可以在零停机的情况下安全地进行模式变更，同时还具备智能的监控、扩展、查询缓存等功能。

Brian Morrison II | 2024年2月13日 许多年前，我曾在一家远程信息处理公司工作，该公司负责接收来自全球数十万台设备的数据。在公司飞速发展的某个阶段，我们迎来了一位客户，为我们带来了大量新设备，并大幅提升了收入。这对公司的发展轨迹来说是一个重要时刻，但随之而来的数据处理量激增，也暴露了我们系统中的一个重大缺陷。 数据历史表（记录所有设备上发生的每一个事件）的 ID 列使用了 INT 数据类型创建，很快就将耗尽空间。 这个问题并非立即显现，但一旦该列空间耗尽，我们的整个系统就会陷入瘫痪。有趣的是，我们为此快速构建了一个名为“末日时钟”的工具，用来粗略计算这一问题发生的日期。

Taylor Barnett , Rick Branson | 2024年2月16日 今天，我们宣布外键约束已在 PlanetScale 的任何非分片数据库中正式可用。 外键约束可用于在数据库中强制实施引用完整性。在过去两个月的测试阶段中，已有超过 2,400 个 PlanetScale 数据库启用了外键约束。你可以在 PlanetScale 文档中阅读更多关于我们对外键约束支持的内容。 此前，我们曾撰文介绍过我们如何克服在支持外键约束的同时兼容数据库分支、使用 Online DDL 的非阻塞 schema 变更、门控部署和数据库导入等功能所面临的技术挑战。

Brian Morrison II | 2024年3月19日 通用唯一标识符（Universally Unique Identifiers，简称 UUID）的设计目标是让开发者能够在无需了解其他系统的情况下生成保证唯一性的 ID。这些标识符在分布式架构中尤为有用，因为在这种架构中，有多个系统和数据库负责创建记录。你可能认为在数据库中使用 UUID 作为主键是个好主意，但如果使用不当，它们可能会严重损害数据库性能。 在本文中，你将了解在 MySQL 数据库中使用 UUID 作为主键的缺点。 截至本文撰写时，UUID 有五个正式版本和三个提案版本。让我们逐一了解每个版本，以更好地理解它们的工作原理。

Shlomi Noach | 2024年7月23日 如何在 MySQL 中运行非阻塞的 schema 变更？这是一个永恒的问题。面对众多的第三方解决方案以及 MySQL 近期的进步，很难判断对于给定的 schema 迁移哪种方案更优。在本文中，我们提供 2024 年 MySQL 在线 schema 迁移现状的高层次概述。我们将讨论范围限定在 ALTER TABLE 语句，因为其他 DDL 语句通常很快（DROP TABLE 算是一个例外，但不在本文讨论范围内）。 我们首先考察 MySQL 的原生选项：INPLACE 和 INSTANT。有关参考，请参阅 Online DDL Operations MySQL 8.0 文档。 这是 MySQL 对非阻塞 schema 变更的首次尝试。

Ben Dicken [ @ BenjDicken ] | 2024年8月19日 在为数据库规划资源时，我们通常关注 vCPU、RAM 和存储容量等规格。然而，对于数据库这类 I/O 密集型工作负载来说，IOPS 和吞吐量是至关重要的考量因素。 在本文中，我们将探讨数据库的 IOPS 和吞吐量需求如何影响成本，以及分片如何帮助降低大规模工作负载的成本。 在深入这些细节之前，让我们先定义一下 IOPS 和吞吐量的含义。 自本文撰写以来，我们已发布了 PlanetScale Metal。Metal 数据库为您提供无限的 IOPS 以及超低延迟的读写能力。如果您需要具有出色 IO 性能的数据库，请了解 Metal。

Shlomi Noach | 2024年9月4日 PlanetScale 现在在符合条件的部署请求中提供即时部署，将模式部署运行时间缩短至近乎即时。此选项按部署请求选择性启用，我们继续提供 Online DDL 作为默认且最安全的模式变更策略。 要符合即时部署的条件，部署请求必须包含的所有变更都能即时完成： 一个或多个符合 MySQL 中 INSTANT DDL 条件的 ALTER TABLE 语句。 另外，可选地，创建或删除任意数量的表。 另外，可选地，创建、修改或删除任意数量的视图。 要了解更多关于 MySQL 中 INSTANT DDL 的信息，请参阅我们关于 MySQL 中在线模式迁移状态的详细分析。简而言之，MySQL 支持 INSTANT 算法的变更集有限，例如添加新列、更改列的默认值等。

博客 | 产品 | Vitess Ben Dicken [ @ BenjDicken ] | 2024年11月7日 我们刚刚发布了新的工作流功能，它为您提供了一系列预定义的步骤配方，用于在数据库上执行操作。我们的第一个工作流使您能够通过将表移动到分片键空间来水平扩展数据库，所有这些都可以在 PlanetScale 仪表板内完成。 如果您熟悉 Vitess，这个第一个工作流类似于 MoveTables，这是 Vitess 中管理数据分布的关键组件。我们很高兴现在能在 PlanetScale 中直接提供此功能。 工作流功能在所有 PlanetScale 计划中均可使用。 在 PlanetScale，我们的目标是成为运行关系型数据库最可靠和可扩展的平台。

推出 Streamhouse：面向 AI 的开放数据架构 | 了解更多 Ahmed Saef Zamzam，Confluent 技术营销总监 去年，我们推出了 Connect with Confluent 合作伙伴计划，使我们的技术合作伙伴能够开发与 Confluent Cloud 的原生集成。这使我们的客户能够从他们喜爱的应用程序中访问 Confluent 数据流，并让他们从数据中获取最大价值。目前该计划已有 40 多个合作伙伴，其中包括两项 Amazon Web Services (AWS) 服务——Amazon Athena 和 AWS Lambda——我们正在迅速扩展 Confluent 本已庞大的数据流生态系统。

推出 Streamhouse：面向 AI 的开放数据架构 | 了解更多 Patrick Neff 客户成功技术架构师 在大型组织中，Confluent Cloud 通常会被许多不同用户以及业务关键型应用程序同时访问，可能跨越不同的业务线。如此多的独立组件协同工作，单个故障、错误或事件影响其他服务的风险随之增加。一次事件可能由用户点击了错误的按钮、应用程序配置错误，或仅仅是一个 bug 引起——不一而足。理想情况下，你希望系统和应用程序始终平稳运行，但如果发生事件，关键是通过将解决时间降至最低来减少损害。 在大多数情况下，你会观察到灾难（例如，UI 不可用），但不会直接知道根本原因。然后你可能会（也许在夜间）呼叫工程师或支持人员来检测和排查错误。

SOC 团队面临的最大 SIEM 管理问题之一是，他们经常被误报淹没，导致分析师疲劳和可见性缺口。除此之外，安全领域最棘手的挑战之一是检测 SaaS 访问令牌何时被泄露，同时又不增加误报问题。 在 Elastic，InfoSec 团队通过使用 Tines 等工具自动化 SIEM 告警调查来解决这两个问题。这篇博客文章分享了我们如何简化工作流程、减少误报，并让分析师能够专注于真正的威胁。 在之前的一篇博客文章中，我们介绍了 Elastic InfoSec 团队如何创建检测用户和实体行为分析（UEBA）的规则包。随着我们将这些告警包扩展到包含更多数据源，我们发现，由异常但良性的活动（例如每月仅发生一次的 API（应用程序编程接口） 令牌活动，或来自已知扫描器的活动）引起的大量误报让 SOC 分析师不堪重负。

推出 Streamhouse：面向 AI 的开放数据架构 | 了解更多 Tim Graczewski Confluent for Startups 全球负责人 今天，Confluent 激动地宣布今年数据流初创企业挑战赛的 10 位全球半决赛入围者！数据流初创企业挑战赛最初在 Current 2023 上宣布，是一项全球性竞赛，旨在表彰和奖励那些使用 Confluent Cloud 构建创新实时应用程序的早期初创企业。 来自 22 个国家的近 100 家年轻初创企业（成立不到五年且风险融资少于 1000 万美元）参加了今年的全球竞赛。今年的申请者成功地将数据流应用于各种各样的行业和用例——从在线游戏和心理健康支持，到区块链应用程序和人工智能。 多年来，初创企业在采用和塑造开源软件的未来方面发挥了至关重要的作用。

推出 Streamhouse：面向 AI 的开放数据架构 | 了解更多 Olivia Greene 高级产品营销经理，Confluent 2024 年第二季度 Confluent Cloud 发布围绕数据流平台的四大关键支柱——流（Stream）、连接（Connect）、处理（Process）和治理（Govern）——推出了一系列增强功能，同时我们在合作伙伴生态系统方面也开展了重要工作，帮助客户解锁新的可能性。Confluent 已帮助超过 4,900 家全球企业开启数据流之旅，并近期在 Forrester Research 的 The Forrester Wave™：流数据平台，2023 年第四季度 中被评为领导者。

从一开始，Elastic detection-rules 仓库不仅包含 Elastic 的预构建检测规则，还包含用于检测规则管理的额外工具——例如 Elastic 威胁研究与检测工程（TRaDE）团队使用的一套测试、CLI 命令和自动化脚本。 Elastic 的 TRaDE 团队多年来一直遵循检测即代码（Detections as Code，DaC）实践，支持我们针对 Elastic 预构建检测规则和端点规则的内部开发与发布流程。客户过去主要使用 detection-rules CLI，它提供了 Kibana API（应用程序编程接口） 封装和 CLI 命令，以便通过 Elastic SIEM 进行规则管理，但要求用户采用 Elastic 的内部流程和严格限制。

推出 Streamhouse：面向 AI 的开放数据架构 | 了解更多 Andrew Sellers，Confluent 技术战略与赋能副总裁 本文最初于 2023 年 12 月 27 日发表在 The New Stack 上。 我从事人工智能相关工作已近 20 年，应用的技术涵盖预测建模、知识工程和符号推理。AI 的巨大潜力始终显而易见，但其广泛应用似乎总是还要再等几年。然而，以当前生成式 AI（GenAI）技术的形态来看，这一次感觉有所不同。 过去的一个重大障碍是，设计和训练模型所需的专业知识极为稀缺。如今，我们拥有了像 LLM（大语言模型） 这样的基础模型来驱动 GenAI，它们可复用且具有通用性——这使得技术的应用比以往任何时候都更加民主化。

你是否曾经训练过一个你认为很好的模型，但当应用于现实世界数据时却惨遭失败？如果是这样，你并不孤单。机器学习过程复杂，很容易在不明显的情况下导致过拟合。在我从事机器学习的20年左右时间里，我见过许多这样的例子，这促使我撰写了《如何避免机器学习陷阱：学术研究人员指南》，试图防止其他人落入这些陷阱。 但你不必只听我的一面之词。这些问题在科学和大众媒体中越来越多地被报道。例如，有观察指出，在新冠疫情期间开发的数百个模型根本不起作用，以及多伦多部署的一个水质系统经常告诉人们可以在危险的水中沐浴是安全的。其中许多案例记录在AIAAIC存储库中。甚至有人提出，这些机器学习失误正在导致科学界的可重复性危机——而且，鉴于如今许多科学家将机器学习作为关键工具，这导致对已发表科学结果的信任缺失。

在当今数字时代，数据是现代组织的命脉——美国政府也不例外。随着各机构应对日益增长且愈发复杂的数据，采用标准化方法来监控、分析和理解复杂IT系统的行为已势在必行。这正是OpenTelemetry——一个开源可观测性框架——发挥作用的地方。OpenTelemetry是云原生计算基金会（CNCF）下的一个项目，旨在为三种主要的可观测性数据类型——追踪（traces）、指标（metrics）和日志（logs）——创建统一标准。 供应商锁定和专有解决方案长期困扰着政府的技术格局，导致高昂成本和纳税人资金的浪费。通过标准化采用OpenTelemetry，各机构可以避免供应商锁定，促进供应商之间的良性竞争，从而显著节省成本。

面对量子计算对密码学的威胁以及日益增加的监管要求，密码治理正变得愈发关键。 IBM Research 开发并开源了 CBOMkit，旨在赋能开发者和开源社区，通过使用 CycloneDX 密码物料清单（CBOM）标准生成、可视化、分析和存储清单，主动管理其项目中的密码资产。这些能力将帮助开发者熟悉 CBOM，识别其代码和依赖项中的密码资产，并向用户提供其项目和应用程序的 CBOM。 由于密码学保护我们的 IT 免受数据泄露和破坏，发现易受攻击的实例并进行修复至关重要。在量子计算威胁常见密码方法的当下，这一点尤为重要，因此必须将其替换为量子安全变体。

低秩适配（LoRA）是一种更快、更经济的方法，可将大语言模型（LLM（大语言模型））及其他基础模型转变为专用模型。IBM Research 正在通过 LoRA 进行创新，使 AI 模型更易于定制和规模化部署。 在基础模型准备好应对现实世界问题之前，通常需要在专用数据上进行微调，并重新计算其数十亿甚至数万亿的参数。这种传统微调方式速度慢、成本高，最终产生的定制模型数量远超实际可部署的能力。 低秩适配（LoRA）是一种更快捷的解决方案。使用 LoRA，你只需微调基础模型权重的一小部分，创建一个插件模块，使模型在推理时具备特定领域的专业知识，例如生物学或数学推理。通俗地说，这个模块也被称为“LoRA”。就像多头螺丝刀的定制批头一样，LoRA 可以随时插入和拔出基础模型，赋予其专业化能力。