LinkedIn如何将ClickHouse从分布式追踪扩展至指标发现与分析 | ClickHouse
博客 / 用户故事 以 Markdown 查看 在 Markdown 中打开此页面 在 ChatGPT 中打开 询问有关此页面的问题 在 Claude 中打开 询问有关此页面的问题 在 v0 中打开 询问有关此页面的问题 LinkedIn 的可观测性团队在 ClickHouse 上运行分布式追踪、指标元数据发现和分析,此前已先在追踪场景中验证了该数据库。 即使在 1% 头部采样率下,该系统每天仍产生约 0.8 万亿个 span 和 200 TB 未压缩数据。 指标元数据索引将三个系统整合到单个 ClickHouse 集群之后,在 130 亿+ 指标上以 68 毫秒平均延迟服务每分钟 15 万+ 查询。 从旧技术栈迁移后,内存使用降至约五分之一,计算降至约三分之二,并有余力将指标量翻倍。
第4部分:LLM系统的安全与治理:护栏、PII、审计和记忆 - Stack Overflow
LLM(大语言模型) 系统不再只是演示、真正有权接触真实数据和真实决策的那个层级:分层护栏,故障时关闭,在边界处理 PII,不可篡改的审计追踪,以及有作用域的记忆。 当 LLM 系统开始做出重要决策时,“通常能跑通”就不再是标准了。这是成熟度模型的第 4 级——安全与治理——也是团队往往后期才补上的四个学科必须被设计进去的地方。它们共享一个理念:不要信任单一节点能做对事情。分层独立的护栏,让某一层的遗漏在下一层被捕获。在每个边界处理敏感数据,使其永远不会在不该积累的地方积累。写入不可篡改的审计追踪,让“它为什么那样做?”在几个月后仍有答案。并按类别限定记忆作用域,使一个客户的数据永远不会影响另一个客户的决策——在你交付的内容和系统赢得的能力之间划清界限。 这些都不是什么稀奇的东西。
Kubernetes(容器编排平台) on Edge Day 重返 KubeCon + CloudNativeCon 北美 2026
发布于 2026 年 10 月 7 日,作者:Mars Toktonaliev 和 Katerina Arzhayev,Kubernetes on Edge Day 本文重点介绍的 CNCF 项目 Kubernetes on Edge Day 将于 2026 年 11 月 9 日在犹他州盐湖城举行的 KubeCon + CloudNativeCon North America 2026 上回归,汇聚来自整个云原生生态系统的开发者和采用者,分享围绕构建、改进和运营边缘基础设施的经验与见解。 随着硬件和软件分布在数百甚至数千个位置,云原生方法中的可观测性、松耦合系统、声明式 API(应用程序编程接口)和强自动化变得越来越重要。
介绍 Clef:我们的开源决策模型,以及新的强化学习微调平台
Michelle Chen、Alex Reneau 和 Kevin Flansburg 过去几周,围绕 Typesafe AI 的 Jev System One 模型等决策模型,讨论热度很高。虽然分类器模型已经存在一段时间,但 Jev 将一种新的决策模型概念引入 AI 领域——一种能够以低成本、快速且一致的方式生成有界结构化输出的模型,可在需要做出决策时加入工作流。这些模型足够强大,能够处理任意输入集,而无需不断重新训练模型以纳入新的分类类别。这与大语言模型(LLM(大语言模型))领域形成对比:LLM 在很大程度上是非确定性的,但足够开放,能够进行推理,并为智能体工作负载生成文本和工具调用。
Python 3.10.22、3.11.17、3.12.15、3.13.16 和 3.14.8 现已发布! | Python Insider
Python 全系列版本更新现已发布:Python 3.10.22、3.11.17、3.12.15、3.13.16 和 3.14.8 均已可用!这是 Python 3.10 围绕太阳的最后一圈,同时五个系列均包含安全更新。 Python 3.10.22 Python 3.11.17 Python 3.12.15 Python 3.13.16 Python 3.14.8 Python 3.10.22 是 Python 3.10 的最终版本。历经五年,该系列已到达生命周期终点,将不再接收任何安全更新。如果你仍在使用 Python 3.10,请规划升级到受支持的版本。 如 PEP 664 所述,Python 3.11 在 2027 年 10 月之前仍处于仅安全修复模式。安全版本按需发布,没有固定节奏。
微调 NVIDIA Nemotron 以适配沙特阿拉伯语方言,并探索通往其他语言的路径 | NVIDIA 技术博客
自动语音识别必须处理人们实际的说话方式,而不仅仅是预训练数据中占主导地位的语言和风格。地区方言和本地录音条件往往代表性不足,因此一个在广泛基准测试中表现良好的多语言模型在部署中仍可能表现不佳。 沙特阿拉伯语就是一个具体例子。一个模型可能能识别现代标准阿拉伯语或英语,却难以应对 Najdi 和 Hijazi 语音,或本地录音条件。仅在目标方言上进行微调可以改善该方言的表现,但同时会削弱其他语言的能力。 NVIDIA Nemotron 3.5 ASR 支持跨 40 种语言-地区的多语言流式转录,包括可直接转录的阿拉伯语,但特定部署的方言和录音条件仍可通过微调获得更好的效果。
使用 ARC Zonal Shift 运行多日可用区疏散演练 | Amazon Web Services
使用 ARC Zonal Shift 运行多日可用区疏散演练,是证明应用程序能够承受持续故障的有效方式。多可用区部署是在 AWS 上构建弹性应用程序的架构最佳实践,但在部署多可用区与证明其能在持续压力下正常工作之间仍存在差距。传统的灾难恢复(DR)测试验证的是故障转移机制。典型测试会转移流量、确认目标响应,并在几分钟内回滚。这些短时演练无法暴露那些仅在数小时或数天后才会出现的问题。 多日可用区疏散会迫使依赖时间的行为完全展开,从而暴露短时测试所遗漏的故障模式: Auto Scaling 策略未针对全天持续 N-1 运行进行调优。 部署管道在放置新工作负载前未验证可用区健康状态。 过期的 DNS 或缓存的数据库端点。
Verl 0.9.0 在 ROCm™ 10.0 上:基于 AMD Instinct™ GPU(图形处理器) 的下一代强化学习后训练
在《使用 AMD Instinct™ MI355X 上的 verl 扩展 RL》一文中,我们介绍了 AMD Instinct™ MI355X GPU 上 verl 的全异步策略训练器。那篇文章使用的是 ROCm™ 7.0.2 上的 verl 0.7.1.amd0,采用 4+4 GPU 拆分,在 Qwen2.5-VL-7B(Megatron)上运行 GRPO,在 Qwen2.5-Math-7B(FSDP2)上运行 DAPO,并与 NVIDIA B300 进行了单独的同步吞吐量对比。 这篇后续文章介绍的是接下来的技术栈。AMD 已在 ROCm™ 10.0 上启用 verl 0.9.0,发布为 AMD-Ecosystem/verl 的 release/0.9.0.amd0 分支。
在AMD Instinct™ GPU上使用Primus从零开始预训练混合大语言模型
在本博客中,你将学习如何在 AMD Instinct™ MI355X GPU 上使用 Primus 从零开始预训练混合 LLM。具体来说,我们将介绍如何通过单个配置字符串声明混合层堆栈、三种线性循环混合器(Mamba2、Gated DeltaNet 和 Kimi Delta Attention)如何在吞吐量与训练质量之间进行权衡、哪些配方设置首先决定你的运行能否装入内存,以及哪些环境变量可能会悄然改变你的结果。在此过程中,你将获得本文中每个数字背后已发布的配置,以便你可以自行复现这些运行。准备好训练你自己的混合模型了吗?拉取 Primus 镜像并跟随操作——这里的一切都在单个八 GPU 节点上运行。 语言模型架构正在超越纯 Transformer(深度学习中的注意力模型架构)。
使用TensorFlow进行线性回归预测分析 - KDnuggets
博客热门文章关于 主题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL 数据集 活动 资源 速查表 推荐 技术简报 广告 本文展示了一个强大且简单的示例,说明如何使用 TensorFlow 执行线性回归。查看代码以进行你自己的实验! 作者:Christopher Shoe,Ease Inc 自 2015 年由 Google Brain 团队发布以来,TensorFlow 一直是围绕人工智能、机器学习和预测分析讨论的推动力量。凭借其灵活的架构,TensorFlow 提供了具有惊人并行性的数值计算能力,这对小型和大型企业都具有吸引力。
技术如何赋能——并危及——独裁者 - Schneier on Security
本文与Seva Gunitsky合著,最初发表于《外交事务》。 2022年3月,莫斯科全面入侵乌克兰两周后,俄罗斯第一频道编辑玛丽娜·奥夫相尼科娃闯入晚间新闻直播现场。她在主播身后举起手绘标语,上面写着:“停止战争。不要相信宣传。他们在对你们撒谎!”她高喊“反对战争!”直到被强行拖走。 自那以后,再无人能在俄罗斯电视上抗议战争,部分原因是安保更加严密以及普遍的恐惧氛围。但2024年10月,俄罗斯主要宣传者之一玛格丽塔·西蒙尼扬给出了另一种解释。她向一位采访者解释说,RT网络中越来越多的主播并非真人。“那张脸并不存在。我们生成了声音和其他一切。”她的意思是,这些主播由人工智能生成。
MLOps是一门工程学科:初学者概述 - KDnuggets
博客热门文章 关于 主题 AI 职业建议 计算机视觉 数据工程 数据科学 语言模型 机器学习 MLOps NLP 编程 Python SQL 数据集 活动 资源 速查表 推荐 技术简报 广告 MLOps = ML + DEV + OPS。MLOps 是将历史悠久的 DevOps 实践与新兴的机器学习领域相结合的理念。 作者:Angad Gupta,数据科学学生 MLOps 是 ML + DEV + OPS 的结合。MLOps 主要通过提高自动化程度来帮助提升生产可扩展性和生产模型的质量。 MLOps 是将历史悠久的 DevOps 实践与新兴的机器学习领域相结合的理念。它创建了一个自动化环境,将模型开发、模型再训练、漂移监控、流水线自动化、质量控制以及模型治理整合到一个平台中。
Oracle 与 Microsoft:两大 AI 驱动型云股票对比
关于我们 团队 热门 联系我们 广告 推广 阿联酋版 हिन्दी 书籍 电子报 排名 洞察 加密货币 小工具 股票 杂志 行业 地理 媒体 新闻 更多 评论 洞察 加密货币 小工具 股票 杂志 行业 地理 媒体 新闻 更多 评论 Oracle的云收入增长了62%,得益于对AI基础设施的强劲需求以及6640亿美元的合同收入积压。 Microsoft通过Azure、Microsoft 365 Copilot、GitHub、网络安全和企业软件提供了更广泛的AI敞口。 两家公司都面临高昂的AI基础设施成本,因此未来现金流和利润增长仍是投资者的关键因素。 Oracle和Microsoft提供了进入人工智能热潮的两条不同路径。Oracle围绕快速的云增长和庞大的AI基础设施合同建立了强有力的理由。
图书出版商正悄然加大AI使用力度,员工们对此表示反抗
在今年一个又一个头条新闻中,美国图书出版商似乎一直在反击生成式AI,从起诉Google侵犯版权,到取消涉嫌使用大语言模型的作者的书。 但在幕后,美国五大出版商中至少有三家——HarperCollins、Simon & Schuster和Hachette——一直在悄悄将AI工具纳入其出版流程,既未公开披露,也未征得作者同意。 根据对二十多名员工的采访,所有受访者均在匿名的条件下发言,以免危及自己的工作。出版商如今正在使用Claude和ChatGPT等大语言模型来给文学经纪人发邮件、撰写宣传文案和封底文案、设计封面艺术以及生成营销材料,而且往往是在其高管的指示下进行的。
在Node.js中使用BullMQ将缓慢的LLM调用移出请求路径
如果一次 LLM(大语言模型) 调用可能需要 20 秒甚至更长时间,就不要把它放在 HTTP 处理程序中。把这项工作放到由 Redis(内存数据结构存储系统) 支持的内存数据结构存储系统 BullMQ 队列上,立即返回一个 job ID 和 202 Accepted,然后让单独的 worker 执行这个慢调用,同时客户端通过 Server-Sent Events 获取进度更新。 本文其余部分就是这套方案的可用代码。它涵盖带退避的重试、并发与速率限制、死信处理,以及向浏览器发送进度。 内联 LLM 调用在开发环境中看起来没问题。但在真实流量下,这些问题会出现: 超时会不断累积。你的负载均衡器、反向代理和客户端各自都有自己的空闲超时。
AWS 推出 Strands Box,瞄准失控的 AI 智能体行为
亚马逊云科技(AWS)推出了一款面向 AI 智能体的开源沙箱,允许开发者根据智能体此前的行为限制其操作,旨在应对企业赋予自主系统更多应用和数据访问权限时带来的安全风险。 该工具名为 Strands Box,将操作系统级隔离与规范智能体行为的策略相结合。它于 10 月 7 日在 Apache 2.0 许可证下以开发者预览版发布,目前支持运行 macOS 15 或更高版本的搭载 Apple 芯片的 Mac。 Strands Box 使用 AWS 开发的开源策略语言 Dogwood 及其配套的评估引擎来判断是否应允许智能体执行某项操作。该引擎可以将智能体在不同工具中的记录活动纳入考量,例如,通过 shell 命令读取文件可以触发对后续网络请求的限制。 “设想一个正在调查生产事故的智能体,”AWS 在一篇博文中表示。
为什么BigQuery在实时分析方面无法与ClickHouse Cloud匹敌 | ClickHouse
博客 / 工程 以 Markdown 查看 在 Markdown 中打开此页面 在 ChatGPT 中打开 询问有关此页面的问题 在 Claude 中打开 询问有关此页面的问题 在 v0 中打开 询问有关此页面的问题 实时系统在将传入数据从到达至可查询的过程中,其成本和效率差异巨大。在本系列中,我们沿着这条路径来观察它如何影响准备成本、查询成本和查询运行时。 在这里,ClickHouse Cloud 和 BigQuery 在查询运行期间摄入了 1132 亿条报价。在 BigQuery 容量定价下,ClickHouse Cloud 每美元的端到端性能提升了 438 倍,在按需定价下提升了 512 倍。该对比追溯了这些差异的起源。 实时分析必须在新数据到达时持续快速作答。
CodeQL 2.27.2 改进了 C++、Go、Rust 和 JavaScript 分析 - GitHub Changelog
CodeQL 2.27.2 现已发布,新增了 C++ 正则表达式解析器,并改进了多种语言的分析能力。CodeQL 是 GitHub 代码扫描背后的静态分析引擎,可帮助您发现并修复代码中的安全问题。Default 套件运行 498 个安全查询,覆盖 170 个 CWE。Extended 套件额外增加 131 个查询,覆盖另外 32 个 CWE。 CodeQL 现在可以解析 std::regex 中使用 ECMAScript 语法的正则表达式。 我们为 Comdb2 C API(应用程序编程接口) 添加了 SQL 注入汇聚点模型,并为 Bloomberg BDE 编解码器和字节流反序列化器添加了流摘要。
将Spyre构建为原生PyTorch设备 - PyTorch
Spyre 通过 torch-spyre 将 PyTorch 现有的设备、分配器、流和编译器抽象连接到 Spyre 运行时和固件,从而成为原生 PyTorch 设备。PrivateUse1 赋予 Spyre 真正的设备身份,PyTorch 分配器存储使张量驻留在 device="spyre" 上,流提供熟悉的排序语义,运行时事件连接跨流的依赖工作。FX 图保留在 Inductor 编译器路径中。本文聚焦于 PyTorch 到 Spyre 的设备/运行时集成:设备身份、分配器支持的存储、流、事件和编译程序启动如何映射到 Spyre 的运行时约束。一旦编译产物存在,启动就是一组在有序队列上执行的类型化操作的预备配方,而非基于图的运行时接口。
扰乱AI驱动的“假前线”行动
在过去两年半的时间里,我们报道了威胁行为者试图利用我们的模型进行网络攻击、隐蔽影响行动(IO)、诈骗以及其他违反我们使用政策的多种方式。我们发布这些报告,是为了让监管机构、行业同行和更广泛的社会了解我们如何看待威胁行为者试图利用 AI,并揭示他们试图利用的漏洞。 我们最近封禁了两个 IO——一个来自俄罗斯,一个来自伊朗——它们将我们的模型与更传统的手段和技术结合使用,以支持复杂的“虚假前台”实体。它们利用这些实体将地缘政治、冲突相关的信息洗白后传递给目标受众。伊朗的行动包括一个由七个“记者”人设组成的团队,用来向世界各地中小型在线媒体投稿长篇文章;俄罗斯的行动似乎利用了拉丁美洲不知情的人在当地运营一个“智库”。 这两个行动都是多维度的,尝试了一系列不同的策略来实现其目标。