ITPub博客

2026年7月28日，作者 Sebastian Raschka 昨天发布的大型开放权重模型 Kimi K3 的架构图，以及一些观察和思考。 1. 是的，它看起来相对复杂，但本质上只是他们去年发布的 Kimi Linear 模型放大后的生产版本（从 48B 扩展到 2.8T；K3 是目前为止最大的开放权重模型） 1. 与 Kimi Linear 相比，唯一新增的组件是 LatentMoE。我在下图中省略了它，因为图已经很拥挤了，但它本质上与 Nemotron 3 Ultra 中的 LatentMoE 相同（如果你好奇，可以在我的 LLM（大语言模型） Architecture Gallery 中找到它）。其思路是像多头潜在注意力那样，对大型线性层进行压缩（降维投影）。

2026年8月7日，作者 Sebastian Raschka 刚看到 LLMs-from-scratch 仓库在 GitHub 上的 star 数突破了 100,000！ 这太酷了，也很鼓舞人心。看到这个开源仓库帮助了这么多人，我真的很开心。 也感谢所有分享想法并提交改进 PR 的人！ 当然，我计划继续添加新内容，包括新的注意力变体和架构（而像 RL 和 Reasoning From Scratch 这样更大的项目则放在各自独立的仓库中）。 我目前还在进行一个更大的应用型自定义“小型”LLM（大语言模型） 项目。这个月它让我忙得不可开交，但我很快会在一篇即将发布的 Substack 大型文章中分享更多内容！这是我迄今为止最长的一篇！

2026年8月15日，作者 Sebastian Raschka 一个简短示例，说明 Claude 的水印机制按理应如何工作（基于我对他们已发布材料的解读）。 一般来说，当我们生成 token 时，在某些下一个词的位置上可能存在多个高分 token。通常，我们会使用 top-k 或 top-p 采样，因此得分最高的 token 最常被选中（如果我们多次重复采样），但其他 token 也可能被选中。 使用水印时，有一个密钥会影响在最高分 token 中选择哪一个。（水印密钥 + 最近的 token 上下文 → 伪随机种子 → 候选 token 的伪随机分数 → 采样过程偏向分数有利的候选。） 或者更具体地说，秘密密钥和（一个窗口内的）先前 token 会影响这里的随机性。

2026年8月26日，作者 Sebastian Raschka 现在真相大白：广受欢迎的 Ox Alpha 大语言模型（LLM（大语言模型））就是 GLM-5.3-Flash…… 与 GLM-5.2 相比，这个新的 GLM-5.3-Flash 模型采用了： 一种 Kimi Linear 风格的 3:1（超级*）混合注意力模式，包含 34 层 Kimi Delta Attention（KDA）和 11 层 Multi-head Latent Attention（MLA）/ DeepSeek Sparse Attention（DSA）层； 一个按 GLM-5.2 风格缩小的稀疏 MoE 主干，从 744B-A40B 降至 320B-A18B； 一条 DeepSeek V4 风格的 mHC 残差路径，包含四条并行流....

2026年9月2日，作者：Sebastian Raschka 关于 OpenAI 的 Astra 模型是“循环深度或循环 Transformer（深度学习中的注意力模型架构）”的说法有很多炒作。让我们稍微澄清一下。 大约两个月前，我分享了 Nanbeige 的架构细节，例如，“Nanbeige4.2-3B 在 28T tokens 上从头预训练，使用循环 Transformer，通过复用层堆栈来增加容量而不增加参数。” 是的，就是这样。循环 Transformer 的想法只是在 Transformer 块中复用层。 在 Nanbeige 的情况下，主要思想是将相同的 22 层堆栈（=Transformer 块）复用两次而不是一次。因此，实际上它将 22 层架构扩展到 44 层，但不复制权重。

2026年9月20日，作者：Sebastian Raschka 对 Jev 进行炒作和贬低都很容易。过去几天我看到了很多有趣的演示。过去几天我也读到了很多否定性的评论。我认为真相介于这两个极端之间。 也就是说，人们很容易将 Jev 贬低为“不过是一个分类器”。 确切的模型和训练算法并未公开。但如果我必须做出有根据的猜测，它很可能是： 1. 一个小型编码器风格模型，如 (Modern)BERT； 1. 使用类似于校准奖励强化学习（来自《Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty》论文）的方法进行训练。 许多人（包括我自己）多年来一直在训练用于分类的编码器风格模型。事实是，它们通常是专用目的，并且在某些方面存在局限。

最后更新于 2026 年 8 月 25 日 Anthropic 的 AI for Science 计划（“本计划”）由 Anthropic, PBC（“Anthropic”、“我们”或“我们的”）赞助。本计划及所有参赛作品均受 Anthropic 隐私政策（见 https://www.anthropic.com/legal/privacy，“隐私政策”）及本规则（与隐私政策合称“本规则”）的约束并以其为准。 1. 约束性决定。通过申请和/或参与本计划，您同意受 Anthropic 决定的约束。Anthropic 将自行决定获胜研究者，积分（定义见下文）将根据本规则授予。 1. 资格标准。如果您是个人，您必须年满 18 周岁，或在申请时达到您居住司法管辖区的法定成年年龄（以较高者为准）。

为什么 AI 编程让软件设计变得更加重要 AI 现在能够编写大量软件代码，包括日益庞大和复杂的系统。这正在迅速改变软件的开发方式，并且已经影响到了业内许多人的职业生涯。它还引发了诸多问题：AI 编写复杂系统的可靠性如何，其风险如何管理，以及工作被取代的程度有多大。最重要的是，它提出了一个根本性问题：AI 编写软件的能力是否让软件工程变得不那么重要了？ 答案在于区分编码与软件工程。软件开发远不止编写代码。至少，它涉及五项活动：理解需求、设计、编码、验证和支持。每项活动的质量都会影响后续活动。编码只是这个更大工程过程中的一部分。 本文聚焦于软件设计，特别是 AI 编程工具的使用如何改变其角色和重要性。软件设计是软件生命周期中的关键活动之一。假设用户需求已被正确收集，设计就成为系统成功的关键因素。

如果我们处理一个监督学习问题，我的建议是先尝试最简单的假设空间。也就是说，尝试一个线性模型，比如逻辑回归。如果这不能“很好地”工作（即，它没有达到我们之前定义的期望或性能标准），我会继续下一个实验。 我想说，随机森林可能是那种“无忧无虑”的方法——如果机器学习中存在这样的东西的话：没有真正需要调整的超参数（也许除了树的数量；通常，树越多越好）。相反，在支持向量机中有很多旋钮需要调整：选择“正确的”核函数、正则化惩罚、松弛变量…… 随机森林和支持向量机都是非参数模型（即，复杂度随着训练样本数量的增加而增长）。因此，与例如广义线性模型相比，训练非参数模型在计算上可能更昂贵。树越多，构建随机森林的成本就越高。此外，在支持向量机中，我们最终可能会有很多支持向量；在最坏的情况下，支持向量的数量与训练集中的样本数量一样多。

这是一个组合搜索问题：在每次分裂时，我们希望找到能带来“最佳性价比”的特征（即最大化信息增益）。如果我们选择“暴力”方法，计算复杂度为 O(m^2)，其中 m 是训练集中的特征数量；对于 n 个训练样本，复杂度为 O(n^2)（我认为运气好的话可以是 O(n log(n))）。 让我们看一个简单的数据集，Iris（150 朵花，3 个类别，4 个连续特征）。在每次分裂时，我们必须重新评估所有 4 个特征，并且对于每个特征，我们必须找到最佳的分裂值，例如，萼片长度

五个 scikit-learn 默认值，在你的下一个模型进入生产环境之前值得仔细审视 让编码助手生成一个随机森林，然后检查它给出的那四行代码：导入正确，估计器能拟合，预测结果也符合预期形状。现在看看那些没有人指定的参数，因为这四行代码替你决定的问题比你提示中问到的还要多。 每棵树应该考虑多少个特征？模型应该施加多少正则化？验证折应该如何反映数据的结构？这就是默认值的作用：它们让一个描述不完整的请求变成一个可执行的程序。 语言模型通过下一词预测来学习代码模式，这使得熟悉的实现成为生成的天然起点。当一个实现省略了某个参数时，库会提供其默认值，让一个统计选择从惯例悄然进入你的流水线，而从未成为对话的一部分。 助手在被提示时可以审视这些选择，但收到能运行的代码并不能证明这些选择已被审视过。

如何为你的组织的运营数据赋予美元价值 Spirit Airlines 倒闭了。它开始拍卖其资产。在航空公司的破产拍卖中，你通常会期望看到什么？飞机、设备、软件，甚至可能还有机场时刻。但登上头条的是他们的数据。不是任何数据——而是他们的运营数据，例如电子邮件和 Teams 消息。 Google 出价 1000 万美元收购它。Google 并不是唯一的竞标者。Mercor，一个由 AI 驱动的招聘平台，出价 750 万美元。 这不是他们的客户群，甚至也不是发票数据。根据报道，它包含 1 亿封电子邮件、5 亿条 Teams 消息和 3000 万行代码。那是他们的日常运营和决策对话。想象一下，一家濒临倒闭的公司的对话价值 1000 万美元。 当然，这笔交易尚未最终敲定。

当你交付一个 AI 智能体（Agent（智能体））时，关键问题是它能否在真实环境中执行跨越数十次顺序工具调用的工作链，并在某一步失败时恢复。评估模型听起来是否正确，几乎无法告诉你工作是否完成。 这一差距正是智能体评估必须从对单次函数调用打分，演进为对整个任务打分的原因，而工具调用是贯穿其中的连接组织。本文追溯这一演进脉络，并解释为什么如今几乎所有严肃的智能体基准测试都建立在工具使用之上。 最初的测试框架是为静态任务构建的。第一个与模型无关的开源测试框架将模型与评估协议解耦。 智能体打破了这一假设。智能体在多步任务中运行，调用工具、处理错误，并在许多步骤中观察结果，这使得单一输出字符串不足以评估。

生成式 AI 的计算和内存需求日益超出单个 GPU 所能提供的范围。NVIDIA TensorRT 多设备推理是一项新功能，它使单个 TensorRT 网络能够使用 NCCL 支持的分布式集合通信在多个 GPU 上执行，同时保留 TensorRT 推理优化。从 TensorRT 11.0 开始全面支持该功能。 NVIDIA Dynamo-Triton（原 NVIDIA Triton Inference Server）26.07 版本启用了 TensorRT 后端的多设备推理能力。一个 Triton KIND_MODEL 实例可以拥有多个 GPU，创建按 rank 划分的 TensorRT 执行上下文、CUDA（NVIDIA 并行计算平台和编程模型） 流和 NCCL 通信器，并为每个请求一起启动各 rank。

强大的 AI 可以将数十年的科学和经济进步压缩到几年内，并帮助解决我们面临的一些最棘手的问题。我们的目标是促进这一进步，同时确保其收益被广泛共享。 全球健康 让能否存活取决于药物，而非地理位置。 生命科学 改善高负担疾病和罕见疾病的检测与治疗。 经济流动性 确保劳动者和企业在 AI 转型中蓬勃发展。 教育 让每个地方、每个孩子都能读写和推理。 全球健康 让能否存活取决于药物，而非地理位置。 生命科学 改善高负担疾病和罕见疾病的检测与治疗。 经济流动性 确保劳动者和企业在 AI 转型中蓬勃发展。 教育 让每个地方、每个孩子都能读写和推理。 我们专注于我们认为在近期可操作性和人道主义效益方面结合得最好的领域：健康、科学、经济机会和教育。 随着 AI 能力的指数级增长，其带来深远社会效益的潜力也在增长。

为什么这更关乎Astra做不到什么，而非其他所有模型尚未被测试的方面 GPT-6 Astra的发布伴随着常见的喧嚣：基准测试图表、2.5倍的价格标签，以及与其他所有前沿模型的对比。 但在这一切之下，埋藏着一句真正重要的话。Astra是OpenAI有史以来第一个在网络安全能力方面被归类为“Critical”的模型，这是该框架的最高等级。 此前没有任何模型跨越过这条线。我把那句话读了两遍，真的不确定自己有没有理解对。 这是因为，它给人的感觉是那种理应比发布帖中的一行字获得更多关注、而不是更少的东西。 很容易看出它是怎么被埋没的。 Astra于9月3日以有限预览形式发布，一天后登陆付费ChatGPT套餐，取决于你使用的是哪个计划，该模型要么立刻出现在你的选择器中，要么还要再等两天。

博客热门文章关于 主题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL 数据集 活动 资源 速查表 推荐 技术简报 广告 学习如何使用 OpenAI Agents SDK（软件开发工具包） 构建 Python AI 智能体，利用工具调用和函数工具来自动化多步骤工作流。 你不需要重写 Python 应用程序就可以开始使用 AI 智能体。 如果你的脚本已经包含有用的函数，你可以将这些函数作为工具暴露出来，让 LLM（大语言模型） 决定何时调用它们、提供什么参数以及如何使用它们的输出。 在本教程中，我们将以一个简单的网站监控脚本为例，使用 OpenAI Agents SDK 将其转变为 AI 智能体。

探索 TypeSafe 的 Jev，并将其与 OpenAI 在意图分类方面进行比较 TypeSafe.AI 最近发布了其首个模型 Jev。他们声称这是首个新型模型（System One 模型），与我们过去几年一直在使用（并大肆宣传）的大语言模型（LLM（大语言模型））有着本质区别。 这个新模型似乎特别适合许多日常用例，例如分类（如 NPS 评论的主题建模）或 LLM-as-a-judge 任务。所以，我自然决定必须试一试。 在本文中，我们将探讨 System One 模型与 LLM 的区别，并以客户支持请求的意图分类为例，在实践中检验 TypeSafe.AI 的一些说法。

博客热门文章 关于 主题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL 数据集 活动 资源 速查表 推荐 技术简报 广告 深入探讨 TypeSafe AI 的 Jev：它实际做什么、真正新颖之处在哪里，以及哪些宣传言过其实。 今天，我想尝试一些不同的东西。与其再写一篇标准的“什么是 Jev？”科普文章，我更想回答人们真正在问的问题，并澄清来自 YouTube、社交媒体和 AI 网红的一些炒作。 我以一名多年来从事机器学习和自然语言处理（NLP）系统工作的从业者视角来看待 Jev，包括分类器、零样本分类器和语言模型。老实说，Jev 所做的很多事情看起来并不陌生。 这并不意味着 Jev 无趣。

使用 PyTorch 从零开始理解和实现 CBAM（卷积块注意力模块） 在本文中，我将回顾并实现 Woo 等人发表的深度学习论文《CBAM: Convolutional Block Attention Module》[1]。顾名思义，这本质上是一个可以附加到基于 CNN 的模型上的模块，通过执行注意力机制来增强特征质量。尽管名字中有“注意力”一词，但它与 ViT（Vision Transformer（深度学习中的注意力模型架构））架构中的注意力机制完全不同。请记住，CBAM 首次发布于 2018 年，而 ViT 直到 2020 年才被提出。因此，我们可以简单地说，CBAM 是将注意力机制应用于图像数据的较早方法。