-
编辑 删除
爆赞！2023往期文章汇总
大家好，我是Tim。不知不觉就到年底了，每周坚持更新已经有一段时间了，这里特地的分类整理一下，分享给大家，希
-
编辑 删除
源码解析Spark中的Parquet向量化读取，性能提速9倍！
向量化Parquet文件读取器是自Spark 2.0就添加的一个功能。与逐行读取和解码不同，向量化读取器以列
-
编辑 删除
通俗易懂聊flashAttention的加速原理
小白的视角通过通俗易懂的例子和代码来解释下flashAttention吧，目前软件和硬件all in transformer的发展，其前提条件是transformer在未来5年内至少不可替代。
-
编辑 删除
让深度学习从第一性原理出发，高性能算法模型实践
翻译和改编自Horace的博客同样的一个算法模型代码，A同学实现的GPU利用率80%，而B同学实现的GPU利
-
编辑 删除
超越fastjson2性能2.5倍！探秘simdjson实现原理及对Spark是否有借鉴意义
大家好，我是Tim。我们都知道由于Java语言的各种问题，向量化一直是C++或Rust的代名词。最近一个使用
-
编辑 删除
太坑了！为什么我新写的GPU算子利用率超不过50%？
-
编辑 删除
阿里云历史级大事故与推特下云立省60%，云数据湖的未来如何走
大家好，我是Tim。就在双十一的第二天，阿里旗下多款产品出现访问故障，随后阿里全系产品崩了登上微博实时热搜。
-
编辑 删除
NVIDIA中国特供GPU又被禁了，你还不知道GPU的原理和前景
大家好，我是Tim。在去年的时候，美国就出台了对高性能计算芯片出口中国限制措施。当时是以NVIDIA的A10
-
编辑 删除
Blaze: 用Rust重写Spark执行层，平均提升30%算力
大家好，我是Tim。前一段时间，快手数据架构团队开源了Blaze项目，它是一个利用本机矢量化执行来加速Spa
-
编辑 删除
大模型: 模型大了难在哪里？
大家好，我是Tim。自从GPT模型诞生以来，其参数规模就在不停的扩大。但模型并非简单的直接变大，需要在数据、
-
编辑 删除
Apache Arrow DataFusion到底是什么?
大家好，我是Tim。当前Apache Spark分布式计算框架，由于其运行的健壮性和易于使用已经成为数据计算
-
编辑 删除
如何在多个 GPU 上训练大型模型？
大家好，我是Tim。在进入AI 2.0时代后，大模型发展已是人工智能的核心，但训练大模型确实一项比较艰巨的工
-
编辑 删除
?MotherDuck: 大数据已“死”，逆行者DuckDB
大家好，我是Tim。最近在做些关于嵌入式数据库的事情，经常会刷到关于DuckDB的相关文章，其实我在很早就关
-
编辑 删除
超全 SparkSQL 任务快速调优技巧
大家好，我是Tim。当前Apache Spark已经成为了大数据离线计算事实上的标准，随着大模型与大数据的发
-
编辑 删除
弃用数据分析师的竞赛：Apache Spark引入英语作为其编程语言
不知道你是否已经尝试了GitHub推出的Copilot工具，准确且快速的提示，使得编程已经变成了堆积想法的过
-
编辑 删除
如何使用SparkUI来检查Spark的运行状态？
文章引用和转载于巴德维克·奥哈斯当我执行Spark时，经常会遇到Spark执行崩溃的状况，即使数据量也不是那
-
编辑 删除
Kafka正在成为新一代数据湖吗？
数据管理向数据湖的转变确实是必然的，也是一次全平台的变革。数据湖将成为管理大量原始、非结构化和半结构化数据的
-
编辑 删除
Spark3中的谓词下推VS投影下推
谓词下推是指将过滤条件（谓词）应用于查询的尽可能早的阶段，以减少需要处理的数据量。具体而言，当Spark执行
-
编辑 删除
如何对深度学习训练进行性能调优？
对于深度学习训练来说，它既可能是计算密集（Compute intensive），又可能是数据密集（Data
-
编辑 删除
Apache Arrow: 数据工程的未来
Apache Arrow其实诞生的非常早，初创团队主要来自于Dremio公司和由Apache Parquet
