-
编辑 删除
NVIDIA中国特供GPU又被禁了，你还不知道GPU的原理和前景
大家好，我是Tim。在去年的时候，美国就出台了对高性能计算芯片出口中国限制措施。当时是以NVIDIA的A10
-
编辑 删除
Blaze: 用Rust重写Spark执行层，平均提升30%算力
大家好，我是Tim。前一段时间，快手数据架构团队开源了Blaze项目，它是一个利用本机矢量化执行来加速Spa
-
编辑 删除
大模型: 模型大了难在哪里？
大家好，我是Tim。自从GPT模型诞生以来，其参数规模就在不停的扩大。但模型并非简单的直接变大，需要在数据、
-
编辑 删除
Apache Arrow DataFusion到底是什么?
大家好，我是Tim。当前Apache Spark分布式计算框架，由于其运行的健壮性和易于使用已经成为数据计算
-
编辑 删除
如何在多个 GPU 上训练大型模型？
大家好，我是Tim。在进入AI 2.0时代后，大模型发展已是人工智能的核心，但训练大模型确实一项比较艰巨的工
-
编辑 删除
?MotherDuck: 大数据已“死”，逆行者DuckDB
大家好，我是Tim。最近在做些关于嵌入式数据库的事情，经常会刷到关于DuckDB的相关文章，其实我在很早就关
-
编辑 删除
超全 SparkSQL 任务快速调优技巧
大家好，我是Tim。当前Apache Spark已经成为了大数据离线计算事实上的标准，随着大模型与大数据的发
-
编辑 删除
弃用数据分析师的竞赛：Apache Spark引入英语作为其编程语言
不知道你是否已经尝试了GitHub推出的Copilot工具，准确且快速的提示，使得编程已经变成了堆积想法的过
-
编辑 删除
如何使用SparkUI来检查Spark的运行状态？
文章引用和转载于巴德维克·奥哈斯当我执行Spark时，经常会遇到Spark执行崩溃的状况，即使数据量也不是那
-
编辑 删除
Kafka正在成为新一代数据湖吗？
数据管理向数据湖的转变确实是必然的，也是一次全平台的变革。数据湖将成为管理大量原始、非结构化和半结构化数据的
-
编辑 删除
Spark3中的谓词下推VS投影下推
谓词下推是指将过滤条件（谓词）应用于查询的尽可能早的阶段，以减少需要处理的数据量。具体而言，当Spark执行
-
编辑 删除
如何对深度学习训练进行性能调优？
对于深度学习训练来说，它既可能是计算密集（Compute intensive），又可能是数据密集（Data
-
编辑 删除
Apache Arrow: 数据工程的未来
Apache Arrow其实诞生的非常早，初创团队主要来自于Dremio公司和由Apache Parquet
-
编辑 删除
AIGC时代谷歌能够避免MapReduce和TensorFlow的历史重演吗？
本文部分内容翻译和引用自MATTHEW LYNLEY可以说，Transformer已经成为现代AI技术背后的
-
编辑 删除
大数据团队面临的危机与未来
在过去的几年里，数据一直处于高速增长的模式，数据即新时代的“石油”的口号也一直被传颂。互联网“病毒式”的快速
-
编辑 删除
Apache Iceberg表格式性能优化工具之压缩
目前数据湖难就难在，对于普通使用者来说需要很多的配置，配置好就可以提供较好的性能，相反性能则一直提不上去。数
-
编辑 删除
细节对比：GPT系列模型的变化
随着生成式预训练模型的成功（GPT），似乎什么都可以采用生成式预训练模型来处理。通过“大力出奇迹”似乎什么问
-
编辑 删除
数据湖新秀-Apache Paimon流式数据湖
ApachePaimon 来源于 Flink Table Store， 其核心是想打造一套适合Flink流水
-
编辑 删除
聊一聊TensorFlow编译优化技术XLA的实现
加速深度学习模型的训练和推理一直是搞算法同学的痛点。而编译优化的优点就是可以在运行时对源代码进行转换和重组来
-
编辑 删除
Nvidia DGX GH200到底有多炸裂？
最近，大家都在关注LK-99是否可以被复现成功，是否能够引来新一轮的产能升级，降低内卷的程度。但其实Nvid
