-
编辑 删除
大模型：泛化即智能，压缩即一切
如果你认同Scaling Law定律，你就应该相信通过大量不同的数据来追求长期的模型泛化能力比短期的通过巧妙的模型微调更重要，这个想法在机器学习先驱 Rich Sutton 《苦涩的教训》中也有所体现。所以说，记忆是通向泛化的第一步。
-
编辑 删除
OpenAI联合创始人通俗解读大语言模型
如果我们将大语言模型进行拆解，以进行形象的比喻，那么大语言模型本质上由两个核心组件构成：一个巨大的参数文件和一个运行这些参数的代码文件。
-
编辑 删除
Sora与ChatGPT引发的思考
大家好，我是Tim。几天前OpenAI进一步推出了其文生视频的模型Sora，再次引起了轰动。
-
编辑 删除
国内大厂GPU CUDA高频面试问题汇总二
整体情况简介面试中的问题基本上分成以下几类：1. 基础的八股文：C/C++，OS，计算机体系结构等。
-
编辑 删除
国内大厂GPU CUDA高频面试问题汇总一
1. 你可以简单说下CUDA的线程组织结构吗？相对于GPU硬件结构来说，CUDA是一个并行计算的编程模型，它是基于GPU的体系结构设计的。
-
编辑 删除
一文全面图解Parquet文件格式
Parquet在设计之初没有和任何数据框架绑定在一起，基于Hadoop生态的，目前在 Spark、Arrow等社区对Parquet有更好的支持，ORC主要来源于Hive社区，在文件数据量不大的ORC存储压缩效率和读取性能是胜过Parquet
-
编辑 删除
大厂Spark面试题，搞懂这些绝对稳稳的
Spark的基础知识如工作流程，RDD，架构原理都是最基础的这个是必要需要了解的，但是面试官的问法可能就没那么
-
编辑 删除
全面解析GPU CUDA Core, 为什么Tensor Core可以加速深度学习
大家好，我是Tim。在Nvidia机器中GPU与CUDA一直是双宿双飞的，CUDA是其中的平行处理平台，CUDA Core则是GPU内部的处理单元。
-
编辑 删除
深入理解GPU硬件架构及运行机制
转载和翻译于Understanding the architecture of a GPU曾看到有一篇名为《
-
编辑 删除
谁说程序员不懂幽默和浪漫
谁说程序员不懂幽默和浪漫的，这不开发Python JIT的老哥就在PR里写了首诗：圣诞前夜，代码世界里静谧无
-
编辑 删除
理解GPU中的各种内存类型，为什么SRAM和L1Cache被视为同一个内存区域
大家好，我是Tim。在我们之前介绍flashAttention的实现原理的时候，就介绍了在Cuda中利用高性
-
编辑 删除
Spark SQL 查询计划是如何执行的，深入探究Spark QueryExecution执行过程
大家好，我是Tim。在之前我们已经深入的解析过Spark SQL中的AQE、DPP等实现源码，但是并没有对S
-
编辑 删除
为什么不要在Spark中执行这个操作，详解DataFrame collect源码流程
大家好，我是Tim。相信很多Spark新手经常听到过这个劝告：”当你在编写Spark SQL DataFra
-
编辑 删除
爆赞！2023往期文章汇总
大家好，我是Tim。不知不觉就到年底了，每周坚持更新已经有一段时间了，这里特地的分类整理一下，分享给大家，希
-
编辑 删除
源码解析Spark中的Parquet向量化读取，性能提速9倍！
向量化Parquet文件读取器是自Spark 2.0就添加的一个功能。与逐行读取和解码不同，向量化读取器以列
-
编辑 删除
通俗易懂聊flashAttention的加速原理
小白的视角通过通俗易懂的例子和代码来解释下flashAttention吧，目前软件和硬件all in transformer的发展，其前提条件是transformer在未来5年内至少不可替代。
-
编辑 删除
让深度学习从第一性原理出发，高性能算法模型实践
翻译和改编自Horace的博客同样的一个算法模型代码，A同学实现的GPU利用率80%，而B同学实现的GPU利
-
编辑 删除
超越fastjson2性能2.5倍！探秘simdjson实现原理及对Spark是否有借鉴意义
大家好，我是Tim。我们都知道由于Java语言的各种问题，向量化一直是C++或Rust的代名词。最近一个使用
-
编辑 删除
太坑了！为什么我新写的GPU算子利用率超不过50%？
-
编辑 删除
阿里云历史级大事故与推特下云立省60%，云数据湖的未来如何走
大家好，我是Tim。就在双十一的第二天，阿里旗下多款产品出现访问故障，随后阿里全系产品崩了登上微博实时热搜。
