“AI一天，人间一年”，这句市场流行语充分阐释了AI大模型的高速发展和广泛应用。以智能手机为例，众多知名厂商在AI浪潮下纷纷推出了搭载端侧大模型或采用“端云协同”部署方案的AI手机，手机的智慧化、智能化水平达到了全新高度。

市场调研机构IDC预测，2024年，全球新一代AI手机的出货量将达到1.7亿部，占智能手机总出货量的15%，AI手机在电子消费市场具有广阔的前景。

除手机领域外，AI在各类边缘应用的落地趋势也越发显著。自ChatGPT横空出世以来，短短一年多的时间，生成式AI已悄然渗透至电脑、智能家居乃至汽车等多个领域，与千行百业持续深入融合，迸发出前所未有的创新活力与应用潜力。

释放边缘AI潜力，“存力”成关键引擎

在处理大语言模型和高精度图像生成任务时，生成式AI往往需要庞大的存储和计算资源作为支撑。例如，在图像生成方面，创建高分辨率图像往往伴随密集的卷积运算和反卷积运算过程，而这些运算需要高带宽、高容量的内存来支持数据的快速传输。

可以说，庞大的市场机遇和发展与其带来的挑战总是紧密相依，当前，边缘设备在导入生成式AI方面仍面临着容量、带宽、能耗和散热等方面的瓶颈，这些因素深刻影响并制约着边缘AI的发展。具体而言，边缘设备导入生成式AI通常会面临三方面的挑战。

一是存储容量限制。以LLamA2 7B大型语言模型为例，即便LLamA2 7B模型优化至INT8精度，也需要至少7GB的内存容量来支撑运行，而在进一步压缩至INT4精度时，LLamA2 7B大型语言模型的内存需求仍高达3.5GB。这意味着多数现有的边缘设备需要进行内存扩容升级后才能实现大模型的本地高效运算，进一步显著降低响应延迟。

二是数据传输带宽不足。当前，主流的AI手机普遍采用LPDDR5内存，其带宽约为68GB/s。未来，LPDDR6的带宽虽有望达到150GB/s，但仍不能满足高端AI应用的需求。HBM虽性能卓越，却因成本与功耗过高，难以在边缘设备中普及应用。

三是能耗和散热挑战。相较一般应用来说，运行复杂的生成式AI模型会产生大量的计算热量。因此，边缘设备需要设计有效的能源管理和散热系统，以确保设备保持良好的性能和稳定性。

CUBE：小号“HBM”填补市场空缺

AI技术的深度拓展应用在很大程度上需要借助云端资源，这意味着用户的每次请求指令均需穿越网络抵达云端进行复杂的处理后，才能将结果反馈至用户，而云端通常面临传输延迟、数据隐私和效益成本等方面的挑战，这大大限制了AI技术和应用的普及和推广。

与云计算侧重大规模数据处理不同，边缘计算的数据处理发生在数据源或端点处，因此拥有实时处理、分析和决策的快速能力，可以大幅降低传输的延迟性，契合复杂多变的环境和任务处理需求。因此，边缘AI市场催生了对中低容量、超高带宽及低功耗内存解决方案的需求，生成式AI的出现也让存储行业产生了新的发展机遇—定制化的存储需求应运而生。这主要基于两大原因：一方面，市场缺乏兼具高成本效益与高性能的方案，目前的HBM3E带宽可达1.2TB/s，但功耗过高，虽然LPDDR6带宽未来有望超过150GB/s，但在这二者之间缺乏既能有效控制成本，又能满足边缘设备高性能需求的理想内存解决方案。

另一方面，随着半导体制程不断向7nm以下推进，SRAM微缩效益优势不再，而AI运算使其容量需求增加，高容量SRAM占据面积扩大，进一步导致成本快速升高，因此，厂商亟须推出能够减少SRAM占用面积、降低整体成本的高效解决方案。

为满足日益增长的边缘AI市场需求，助推边缘AI高效创新发展，华邦电子专门推出了CUBE(半定制化超高带宽元件)产品，大幅优化内存技术，可以在混合云与边缘云应用中运行生成式AI，为边缘AI量身定制内存解决方案。与市面上现有方案相比，CUBE中小容量超高带宽的特点极具差异化，适用于机器人、可穿戴设备、边缘服务器等多种高级应用。

CUBE在功耗、性能、尺寸设计及带宽等领域拥有卓越性能，可以全方位满足边缘AI的发展需求。在带宽方面，CUBE能够达到256GB/s~1TB/s，相当于HBM2或4~32个LPDDR4x 4266Mbpsx16IO;CUBE的功耗低于1pJ/bit，在提供超高带宽的同时还可以有效地降低能源消耗。此外，通过创新性TSV技术及uBump/混合键合，CUBE可以降低功耗并节省SoC的设计面积，从而为用户提供高效且极具成本效益的解决方案。

整体而言，CUBE凭借更高的带宽、更高的能效比、更快的响应时间、可定制化特性及紧凑外形，能够在释放AI应用潜力方面发挥重要作用，让强大的AI从云落地至边缘设备和混合云应用中。

图 CUBE(半定制化超高带宽元件)

随着生成式AI不断向边缘端延伸，不同应用场景下的边缘端产品数据传输量持续攀升，并催生出对低功耗、高带宽存储产品的迫切需求，存储厂商迎来了广阔的发展空间。

近年来，华邦电子秉持“不懈创新、精益求精”的发展理念，持续开发用于终端产品特定应用的DDR4/LPDDR4，并致力于研发定制化超高带宽内存解决方案，携手OSAT(半导体封装测试)伙伴为边缘设备SoC提供理想的中小容量超高带宽内存，与业内同行共同探索内存技术的创新前沿，推动边缘AI实现更高效、更蓬勃的发展。