AIGC驱动下，芯片竞逐高性能大算力，引入新计算架构；稀疏计算是从算法软件层面突破芯片算力性能的一大趋势。
稀疏计算的创新体现在算法层面，通过删除无效或冗余的数据（此类数据通常数量庞大），大幅减少数据的计算量，从而加快计算速度。
当前AI正在迅猛发展，对算力的需求也呈指数级增长。
然而算力供给面临着诸多瓶颈，如件工艺和制程进步趋于放缓，算力的提升效果逐渐减弱，而且这种方式成本高，能耗大，周期长，难以满足AI快速发展的需求，那么面对算力供给与需求间的巨大缺口，以及高计算成本与高能耗等难题，有没有更好的算力方案？
有，答案是稀疏计算。
稀疏计算是生物大脑运行的重要原理，大脑中的神经元数量达千亿级，有百万亿个神经突触连接，每次处理任务时，只启用相关的一小部分神经元，从而以很低的功耗处理海量的复杂计算。AI神经网络也借鉴了大脑的机制，具有稀疏性。
例如在视觉类任务里，一张图片内容包含多个特征，各特征之间的关系是稀疏的，在AI推理的实际过程中，每张图片所激活的特征，仅占整个模型中的一小部分，也就是遵循稀疏计算。
然而常用的GPU是基于稠密计算，因此经过GPU训练后，原本稀疏的模型变得稠密，其计算时会将所有元素，包括无效元素都涵盖在内，造成大量冗余。
相比之下，稀疏计算是更高效的方式，利用AI模型本身的稀疏性，像大脑运行那样，每次仅对有用的元素进行计算。
在AI计算的过程中，稀疏计算主要包含两个步骤：
第一步是找出稀疏网络，所有稠密AI神经网络中都隐含一个稀疏网络，首先将稠密张量还原为稀疏张量，也就是在不影响模型的前提下，使零元素变多；
第二步是通过硬件上的指令集与硬件单元，他们能够支持稀疏张量运算，进而完成稀疏AI神经网络的计算，这样一来省去了大量无效元素，所需的计算量也就大幅减少，因此单位能耗下处理的模型运算量增多，等效算力也相应上升。
总之，稀疏计算带来了多重好处，实现了高算力，低功耗，低延时以及更优化的性价比，大幅降低企业的算力总拥有成本-TCO。
稀疏计算正逐步成为AI的主流趋势，带来算力的数量级增长，满足日益攀升的算力需求，推动AI的蓬勃发展与普及。
原文作者：云原生AI百宝箱；如有侵权，请联系管理员删除。
