ITPub博客

发布于 9 月 23 日 • 最初发表于 wayknow.tech 我刚刚发布了 SnapCal，一个我独自用大约两周时间构建的条形码卡路里追踪器：SwiftUI、iOS 17+、零第三方依赖、85 个单元测试。构建它还算顺利。把它发布出去教会了我一些任何教程都不会涉及的东西。 以下就是真正让我踩坑的清单——五个陷阱，附带代码和命令。 SnapCal 扫描条形码，向 Open Food Facts 查询相关信息，然后让你记录它。我的 HTTP 层是标准形态： 而 APIError.httpError 被渲染为 "Server error (404)"。

将前沿智能融入你日常工作的更多方式。 本月早些时候，我们推出了 GPT‑6 Astra，这是世界上最智能、最对齐的模型。尽管最严苛、最重要的项目仍然需要 Astra 的完整深度，但工作会以不同的规模、节奏和预算发生。 因此，我们通过 GPT‑6 Sol 和 GPT‑6 Luna 扩展 GPT‑6 宇宙。GPT‑6 Astra 引入了新一代智能——这些模型通过在成本效率上推进前沿，帮助分配这种智能带来的益处。我们使用与 GPT‑6 Astra 类似的方法训练了 GPT‑6 Sol 和 Luna，将 Astra 在专业工作、事实性、编程、计算机使用和对齐方面达到最先进性能背后的进步，带到了更快、更实惠的模型中。

更高的缓存命中率，以及帮助持久化智能体运行更快、成本更低的新工具。 GPT‑6 使持久化智能体能够处理复杂任务数小时之久，从重构代码库到生成经过充分研究的文档和演示文稿。这些智能体背后的应用程序会发出一系列相互构建的 API（应用程序编程接口） 请求，通常会沿用之前轮次中的相同指令、工具定义和上下文。OpenAI 会缓存这些共享上下文，以便在多个请求之间复用计算，从而缩短响应时间，并为开发者提供高达 90% 的缓存输入 token 折扣。 借助 GPT‑6 系列，我们推出了改进的提示缓存系统，默认提供更高的缓存命中率。我们现在为在 30 分钟窗口内复用的符合条件的共享前缀提供缓存折扣。我们还引入了新工具，帮助开发者监控缓存性能、诊断未命中，并选择要缓存多少提示内容。

Claude Opus 5.5 是 Anthropic 最强大的 Opus 模型，现已在 Snowflake Cortex AI 上开放公共预览。它在 CoCo、Cortex Agents、AI Functions、Cortex Inference 和 CoWork 上实现同日可用。所有调用均保持在 Snowflake 的安全与治理边界内 Claude Opus 5.5 是 Anthropic 最新的 Opus 模型，在复杂编码和知识工作方面较 Opus 5 有所提升。 对 Snowflake 用户而言重要的数据： 编码：Anthropic 报告称，一位早期测试者在不到一天内完成了 680,000 行代码迁移。

2026年7月16日，作者 Sebastian Raschka Thinking Machines Lab 发布了 Inkling，这是一个拥有 9750 亿参数的开源权重混合专家（MoE）模型。每个 token 激活 410 亿参数，并支持高达 1,048,576 个 token 的上下文窗口。 这些数字使 Inkling 与 Kimi K2.5 和 GLM-5.2 处于大致相同的规模级别。然而，该架构有几个我较少见到的细节，包括每个解码器块内部的短卷积，以及用可学习的相对位置偏置替代 RoPE。 Inkling 有 66 个解码器层，隐藏维度为 6,144。前两层使用稠密前馈块。其余层包含 256 个路由专家和 2 个共享专家。每个 token 选择 6 个路由专家，且两个共享专家始终处于激活状态。

2026年7月26日，作者：Sebastian Raschka 是的，开源/开放权重模型对于健康的AI生态系统非常重要。这样我们才能验证事物、核实声明，并在闭源实验室之外保持跟进。此外，如果我们还不准备通过使用闭源实验室的模型来分享个人数据和知识产权，它也给了我们在自己的硬件上运行AI的自由。（并不是说专有模型不好，实际上我也经常使用它们，但如果没有替代方案，那就不健康了。） 总之，虽然几乎所有人都在等待Kimi K3和Ling 3.0的权重随时登陆模型中心，但过去一周还有不少其他有趣的开放权重模型发布。是的，就是这样的一个星期！ 所以，这里是架构图以及一些我觉得最有趣的笔记： 1) Nanbeige 4.2 3B使用了循环深度共享。这基本上意味着它将同一个22层（=Transformer块）堆栈运行两次。

2026年7月28日，作者 Sebastian Raschka 昨天发布的大型开放权重模型 Kimi K3 的架构图，以及一些观察和思考。 1. 是的，它看起来相对复杂，但本质上只是他们去年发布的 Kimi Linear 模型放大后的生产版本（从 48B 扩展到 2.8T；K3 是目前为止最大的开放权重模型） 1. 与 Kimi Linear 相比，唯一新增的组件是 LatentMoE。我在下图中省略了它，因为图已经很拥挤了，但它本质上与 Nemotron 3 Ultra 中的 LatentMoE 相同（如果你好奇，可以在我的 LLM（大语言模型） Architecture Gallery 中找到它）。其思路是像多头潜在注意力那样，对大型线性层进行压缩（降维投影）。

2026年8月7日，作者 Sebastian Raschka 刚看到 LLMs-from-scratch 仓库在 GitHub 上的 star 数突破了 100,000！ 这太酷了，也很鼓舞人心。看到这个开源仓库帮助了这么多人，我真的很开心。 也感谢所有分享想法并提交改进 PR 的人！ 当然，我计划继续添加新内容，包括新的注意力变体和架构（而像 RL 和 Reasoning From Scratch 这样更大的项目则放在各自独立的仓库中）。 我目前还在进行一个更大的应用型自定义“小型”LLM（大语言模型） 项目。这个月它让我忙得不可开交，但我很快会在一篇即将发布的 Substack 大型文章中分享更多内容！这是我迄今为止最长的一篇！

2026年8月15日，作者 Sebastian Raschka 一个简短示例，说明 Claude 的水印机制按理应如何工作（基于我对他们已发布材料的解读）。 一般来说，当我们生成 token 时，在某些下一个词的位置上可能存在多个高分 token。通常，我们会使用 top-k 或 top-p 采样，因此得分最高的 token 最常被选中（如果我们多次重复采样），但其他 token 也可能被选中。 使用水印时，有一个密钥会影响在最高分 token 中选择哪一个。（水印密钥 + 最近的 token 上下文 → 伪随机种子 → 候选 token 的伪随机分数 → 采样过程偏向分数有利的候选。） 或者更具体地说，秘密密钥和（一个窗口内的）先前 token 会影响这里的随机性。

2026年8月26日，作者 Sebastian Raschka 现在真相大白：广受欢迎的 Ox Alpha 大语言模型（LLM（大语言模型））就是 GLM-5.3-Flash…… 与 GLM-5.2 相比，这个新的 GLM-5.3-Flash 模型采用了： 一种 Kimi Linear 风格的 3:1（超级*）混合注意力模式，包含 34 层 Kimi Delta Attention（KDA）和 11 层 Multi-head Latent Attention（MLA）/ DeepSeek Sparse Attention（DSA）层； 一个按 GLM-5.2 风格缩小的稀疏 MoE 主干，从 744B-A40B 降至 320B-A18B； 一条 DeepSeek V4 风格的 mHC 残差路径，包含四条并行流....

2026年9月2日，作者：Sebastian Raschka 关于 OpenAI 的 Astra 模型是“循环深度或循环 Transformer（深度学习中的注意力模型架构）”的说法有很多炒作。让我们稍微澄清一下。 大约两个月前，我分享了 Nanbeige 的架构细节，例如，“Nanbeige4.2-3B 在 28T tokens 上从头预训练，使用循环 Transformer，通过复用层堆栈来增加容量而不增加参数。” 是的，就是这样。循环 Transformer 的想法只是在 Transformer 块中复用层。 在 Nanbeige 的情况下，主要思想是将相同的 22 层堆栈（=Transformer 块）复用两次而不是一次。因此，实际上它将 22 层架构扩展到 44 层，但不复制权重。

2026年9月20日，作者：Sebastian Raschka 对 Jev 进行炒作和贬低都很容易。过去几天我看到了很多有趣的演示。过去几天我也读到了很多否定性的评论。我认为真相介于这两个极端之间。 也就是说，人们很容易将 Jev 贬低为“不过是一个分类器”。 确切的模型和训练算法并未公开。但如果我必须做出有根据的猜测，它很可能是： 1. 一个小型编码器风格模型，如 (Modern)BERT； 1. 使用类似于校准奖励强化学习（来自《Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty》论文）的方法进行训练。 许多人（包括我自己）多年来一直在训练用于分类的编码器风格模型。事实是，它们通常是专用目的，并且在某些方面存在局限。

最后更新于 2026 年 8 月 25 日 Anthropic 的 AI for Science 计划（“本计划”）由 Anthropic, PBC（“Anthropic”、“我们”或“我们的”）赞助。本计划及所有参赛作品均受 Anthropic 隐私政策（见 https://www.anthropic.com/legal/privacy，“隐私政策”）及本规则（与隐私政策合称“本规则”）的约束并以其为准。 1. 约束性决定。通过申请和/或参与本计划，您同意受 Anthropic 决定的约束。Anthropic 将自行决定获胜研究者，积分（定义见下文）将根据本规则授予。 1. 资格标准。如果您是个人，您必须年满 18 周岁，或在申请时达到您居住司法管辖区的法定成年年龄（以较高者为准）。

为什么 AI 编程让软件设计变得更加重要 AI 现在能够编写大量软件代码，包括日益庞大和复杂的系统。这正在迅速改变软件的开发方式，并且已经影响到了业内许多人的职业生涯。它还引发了诸多问题：AI 编写复杂系统的可靠性如何，其风险如何管理，以及工作被取代的程度有多大。最重要的是，它提出了一个根本性问题：AI 编写软件的能力是否让软件工程变得不那么重要了？ 答案在于区分编码与软件工程。软件开发远不止编写代码。至少，它涉及五项活动：理解需求、设计、编码、验证和支持。每项活动的质量都会影响后续活动。编码只是这个更大工程过程中的一部分。 本文聚焦于软件设计，特别是 AI 编程工具的使用如何改变其角色和重要性。软件设计是软件生命周期中的关键活动之一。假设用户需求已被正确收集，设计就成为系统成功的关键因素。

如果我们处理一个监督学习问题，我的建议是先尝试最简单的假设空间。也就是说，尝试一个线性模型，比如逻辑回归。如果这不能“很好地”工作（即，它没有达到我们之前定义的期望或性能标准），我会继续下一个实验。 我想说，随机森林可能是那种“无忧无虑”的方法——如果机器学习中存在这样的东西的话：没有真正需要调整的超参数（也许除了树的数量；通常，树越多越好）。相反，在支持向量机中有很多旋钮需要调整：选择“正确的”核函数、正则化惩罚、松弛变量…… 随机森林和支持向量机都是非参数模型（即，复杂度随着训练样本数量的增加而增长）。因此，与例如广义线性模型相比，训练非参数模型在计算上可能更昂贵。树越多，构建随机森林的成本就越高。此外，在支持向量机中，我们最终可能会有很多支持向量；在最坏的情况下，支持向量的数量与训练集中的样本数量一样多。

这是一个组合搜索问题：在每次分裂时，我们希望找到能带来“最佳性价比”的特征（即最大化信息增益）。如果我们选择“暴力”方法，计算复杂度为 O(m^2)，其中 m 是训练集中的特征数量；对于 n 个训练样本，复杂度为 O(n^2)（我认为运气好的话可以是 O(n log(n))）。 让我们看一个简单的数据集，Iris（150 朵花，3 个类别，4 个连续特征）。在每次分裂时，我们必须重新评估所有 4 个特征，并且对于每个特征，我们必须找到最佳的分裂值，例如，萼片长度

五个 scikit-learn 默认值，在你的下一个模型进入生产环境之前值得仔细审视 让编码助手生成一个随机森林，然后检查它给出的那四行代码：导入正确，估计器能拟合，预测结果也符合预期形状。现在看看那些没有人指定的参数，因为这四行代码替你决定的问题比你提示中问到的还要多。 每棵树应该考虑多少个特征？模型应该施加多少正则化？验证折应该如何反映数据的结构？这就是默认值的作用：它们让一个描述不完整的请求变成一个可执行的程序。 语言模型通过下一词预测来学习代码模式，这使得熟悉的实现成为生成的天然起点。当一个实现省略了某个参数时，库会提供其默认值，让一个统计选择从惯例悄然进入你的流水线，而从未成为对话的一部分。 助手在被提示时可以审视这些选择，但收到能运行的代码并不能证明这些选择已被审视过。

如何为你的组织的运营数据赋予美元价值 Spirit Airlines 倒闭了。它开始拍卖其资产。在航空公司的破产拍卖中，你通常会期望看到什么？飞机、设备、软件，甚至可能还有机场时刻。但登上头条的是他们的数据。不是任何数据——而是他们的运营数据，例如电子邮件和 Teams 消息。 Google 出价 1000 万美元收购它。Google 并不是唯一的竞标者。Mercor，一个由 AI 驱动的招聘平台，出价 750 万美元。 这不是他们的客户群，甚至也不是发票数据。根据报道，它包含 1 亿封电子邮件、5 亿条 Teams 消息和 3000 万行代码。那是他们的日常运营和决策对话。想象一下，一家濒临倒闭的公司的对话价值 1000 万美元。 当然，这笔交易尚未最终敲定。

当你交付一个 AI 智能体（Agent（智能体））时，关键问题是它能否在真实环境中执行跨越数十次顺序工具调用的工作链，并在某一步失败时恢复。评估模型听起来是否正确，几乎无法告诉你工作是否完成。 这一差距正是智能体评估必须从对单次函数调用打分，演进为对整个任务打分的原因，而工具调用是贯穿其中的连接组织。本文追溯这一演进脉络，并解释为什么如今几乎所有严肃的智能体基准测试都建立在工具使用之上。 最初的测试框架是为静态任务构建的。第一个与模型无关的开源测试框架将模型与评估协议解耦。 智能体打破了这一假设。智能体在多步任务中运行，调用工具、处理错误，并在许多步骤中观察结果，这使得单一输出字符串不足以评估。

生成式 AI 的计算和内存需求日益超出单个 GPU 所能提供的范围。NVIDIA TensorRT 多设备推理是一项新功能，它使单个 TensorRT 网络能够使用 NCCL 支持的分布式集合通信在多个 GPU 上执行，同时保留 TensorRT 推理优化。从 TensorRT 11.0 开始全面支持该功能。 NVIDIA Dynamo-Triton（原 NVIDIA Triton Inference Server）26.07 版本启用了 TensorRT 后端的多设备推理能力。一个 Triton KIND_MODEL 实例可以拥有多个 GPU，创建按 rank 划分的 TensorRT 执行上下文、CUDA（NVIDIA 并行计算平台和编程模型） 流和 NCCL 通信器，并为每个请求一起启动各 rank。