-
编辑 删除
4 Roofline Model —— 性能优化方向的理论指导
Roofline Model在优化 GPU 或 CPU 程序时，时常会有疑问：为什么我的代码跑不快是算法太复杂还是显存带宽不够我的优化到头了吗，我的代码还有多大的优化空间。Roofline Model 提供了一个简洁的物理框架，将硬件的限制与软件的行为联系起来，帮助开发者确定优化的方向。核心公式：性能的物理边界Roofline 模型认为程序的性能受限于两个主要因素：峰值算力 (Peak GFLOP
-
编辑 删除
从0构建深度学习框架——揭秘深度学习框架的黑箱
引言你有没有好奇过，当你在 PyTorch 或 TensorFlow 中调用 .backward() 计算梯度时，框架到底在背后做了什么？我们每天都在使用这些成熟的深度学习工具，但很少有人真正去探索它们的底层实现——自动微分的魔法、计算图的构建、张量运算的优化……这些隐藏在API背后的核心原理，才是深度学习的真正基石。今天，我将向大家介绍一个从零开始实现的轻量级深度学习框架——Needle。它不是
-
编辑 删除
强化学习从入门到放弃 —— 跟着 OpenAI 学强化学习
核心概念解析简而言之，强化学习是关于智能体（agent）以及它们如何通过试错来学习的研究。它将这样一种理念形式化：对智能体的行为进行奖励或惩罚，会使它在未来更有可能重复或放弃该行为。强化学习能做什么？强化学习方法近年来在多个领域取得了广泛的成功。例如：它被用于教计算机在模拟环境中控制机器。也能在现实世界中控制机器它还因创造出在复杂策略游戏中具有突破性的人工智能而闻名，最出名的是围棋和 Dota在大
-
编辑 删除
从零实现 REINFORCE/GRPO —— 大模型推理强化微调实践
一文吃透：不依赖成熟 RL 库，如何实现 REINFORCE、REINFORCE-baseline 与 GRPO；数理推理模型的强化学习微调实践；训练/参考/采样模型的多卡调度。引言你是否也遇到过：模型“会思考”，但少数题正确，格式还常常不合规？我在 Qwen/Qwen2.5-Math-1.5B 上亲历这一痛点——zero-shot 在 GSM8K 只有约 1%。本文分享我从零实现的llm-fro
-
编辑 删除
从0到1：揭秘LLM预训练前的海量数据清洗全流程
读完这篇文章，你将用监督微调（SFT）把一个 1.5B 规模的数学模型在 GSM8K 上的零样本推理正确率从 1.56% → 62.9%，同时把输出格式遵循率从 18.9% → 100%。我们将完整走通数据集下载、Prompt 架构、训练配置和评估方法，所有代码均来自本仓库 alignment 文件夹，保证可复现与透明。本文将深入剖析 llm-from-scratch 仓库中 alignment
-
编辑 删除
从 0 搭建 LLM 不再难！这个 PyTorch 项目帮你吃透大模型底层逻辑
如果你曾想深入理解大语言模型（LLM）的 “五脏六腑”，却被框架封装的黑盒接口、复杂的源码结构劝退；如果你希望亲手实现 Transformer 的每一个组件，而非单纯调用{INLINECODE0}库 —— 那么今天推荐的这个开源项目，绝对能成为你的 LLM 学习 “脚手架”。它就是 GitHub 上的 llm-from-scratch（项目地址），一个基于 PyTorch、专为教育设计的 “全手工
-
编辑 删除
从 1.56% 到 62.9%：SFT 推理微调优化实战
读完这篇文章，你将用监督微调（SFT）把一个 1.5B 规模的数学模型在 GSM8K 上的零样本推理正确率从 1.56% → 62.9%，同时把输出格式遵循率从 18.9% → 100%。我们将完整走通数据集下载、Prompt 架构、训练配置和评估方法，所有代码均来自本仓库 alignment 文件夹，保证可复现与透明。本文将深入剖析 llm-from-scratch 仓库中 {INLINECOD
-
编辑 删除
从 0 搭建 LLM 不再难！这个 PyTorch 项目帮你吃透大模型底层逻辑
如果你曾想深入理解大语言模型（LLM）的 “五脏六腑”，却被框架封装的黑盒接口、复杂的源码结构劝退；如果你希望亲手实现 Transformer 的每一个组件，而非单纯调用{INLINECODE0}库 —— 那么今天推荐的这个开源项目，绝对能成为你的 LLM 学习 “脚手架”。它就是 GitHub 上的 llm-from-scratch（项目地址），一个基于 PyTorch、专为教育设计的 “全手工
