-
编辑 删除
CUDA优化之LayerNorm性能优化实践
这次还带上了可以独立使用的OneFlow Softmax。
-
编辑 删除
如何设置CUDA Kernel中的grid_size和block_size？
讨论一下它们应该取什么值。
-
编辑 删除
计算机史最疯狂一幕：豪赌50亿美元，“蓝色巨人”奋身一跃
“Go big or go home. ”
-
编辑 删除
Credit-based Flow Control的前世今生
关于它背后的原理以及其跌宕起伏的故事。
-
编辑 删除
如何超越数据并行和模型并行：从GShard谈起
GShard的优势与不足。
-
编辑 删除
没有这个传奇工程师，就没有今天的Windows
“他是世界上最好的操作系统编写者。”
-
编辑 删除
对齐PyTorch，一文详解OneFlow的DataLoader实现
对齐DataLoader/Dataset只是第一步。
-
编辑 删除
如何实现比PyTorch快6倍的Permute/Transpose算子？
Permute操作在OneFlow中的速度和带宽利用率上远超PyTorch，带宽利用率接近原生Copy操作。
-
编辑 删除
最理想的点到点通信库究竟是怎样的？
一起来做一个新的P2P通讯库？
-
编辑 删除
OneFlow中的错误处理：Maybe
OneFlow汲取了函数式编程语言Haskell中的思想，构建了Maybe<T>这种ADT。
-
编辑 删除
计算机架构史上的一次伟大失败，多数人都不知道
乔希和Multiflow的技术远见和无畏追求为今天的计算机发展带来了巨大回报。
-
编辑 删除
并行机缔造者希利斯和思维机器的浮沉十年
很多令人惊艳的技术、产品、组织和人物成为绝无仅有的经典剖析样本，但他们的故事却逐渐被遗忘。
-
编辑 删除
对抗软件系统复杂性③：恰当分层，不多不少
分层可以实现信息隐藏和关注点分离。
-
编辑 删除
对抗软件系统复杂性②：全局一致，统一隐喻
纷繁复杂的世间万物背后一定有一种简洁、优雅、一致的原理在支配其运行。
-
编辑 删除
对抗软件系统复杂性①：如无必要，勿增实体
只有对极简的偏执追求，才会得到事物的本质。
-
编辑 删除
再谈“去虚拟化”对深度学习系统的必要性
成也萧何，败也萧何，虚拟化也有其代价。
-
编辑 删除
浅谈GPU虚拟化和分布式深度学习框架的异同
GPU虚拟化对解决分布式训练深度学习模型的难题没有任何作用。
-
编辑 删除
动态调度的“诅咒”| 原有深度学习框架的缺陷③
原有框架多使用动态调度，要么存在稳定性的缺陷，要么无法充分利用硬件资源。
-
编辑 删除
数据搬运的“诅咒” | 原有深度学习框架的缺陷②
问题的关键是，计算图是不是只描述“计算”？是不是只有在CPU或GPU上执行的计算才被当成算子？
-
编辑 删除
资源依赖的“诅咒” | 原有深度学习框架的缺陷①
原有框架没有考虑共享资源引入的隐式依赖，把成功执行完全寄希望于运气。
