大多数边缘 AI/ML 工作负载适合在 CPU 上运行，但对于 CPU 无法承载的少数工作负载，加速器非常重要。Raspberry Pi 用户有多种加速选择，包括我们自己的 AI HAT+ 和 HAT+ 2，以及来自更广泛 Raspberry Pi 生态系统的产品。在这里，我们的朋友 Sixfab 和 DEEPX 讨论了如何使用 Sixfab AI HAT+ 在 Raspberry Pi 5 上运行视觉和紧凑型语言 AI，以及三瓦 NPU 在边缘可以实现什么。
Raspberry Pi 让数百万工程师、学生和创客都能进行 AI 开发。下一步是从演示中只运行一次的模型，转向持续观察、理解和响应的智能系统——而不依赖持续的云连接。
适用于 Raspberry Pi 5 的 Sixfab AI HAT+ 是一款第三方 AI 加速板，围绕 DEEPX DX-M1M NPU 构建。它以约 3 W 的典型持续 NPU 功耗增加 25 TOPS 的专用 AI 加速能力，同时让 Raspberry Pi 的 CPU 空闲出来处理摄像头、应用逻辑、连接和设备控制。在本文中，我们希望展示这种组合真正擅长什么、在哪些场景下不是合适的工具，以及如何在几分钟内从首次启动到首次推理。
为什么头条是三个瓦，而不是 TOPS 数字
峰值 TOPS 数字很适合营销，但大多数边缘产品的成败取决于功耗和散热预算。真实系统仍然需要为 Raspberry Pi 本身、摄像头、存储、网络以及设备实际控制的对象留出余量。一个在持续负载下保持约 3 W 的加速器意味着更小的外壳、更简单（通常是被动）的散热，以及可以持续运行而不是短时爆发的 AI。
正是这种效率让本地 AI 在最重要的地方变得实用：智能摄像头、机器人、工业设备和分布式传感器，否则云延迟、连接性或数据隐私会成为限制因素。
工程说明：约 3 W 的数字指的是 25 TOPS DX-M1M 选项的典型持续 NPU 功耗，而不是完整系统的墙插功耗。请始终使用实际摄像头、存储、工作负载和散热来测量你的最终 Raspberry Pi 配置。
一个 NPU 支持三类智能
大多数边缘产品从感知开始：CNN 检测物体、分割工作区域、估计姿态或标记异常事件。下一代边缘系统还需要理解上下文并传达它所看到的内容。DX-M1M 旨在用单块芯片和单一工具链支持整个流程。
CNN：高效的视觉感知
目标检测、分类、分割、姿态估计、深度和图像增强将摄像头像素转化为结构化事件。DEEPX ModelZoo 提供了预先优化好的示例——包括 YOLO 系列检测器、分割和姿态模型——而 DX-Stream 可帮助你将其组装成基于 GStreamer 的摄像头流水线。
紧凑型 VLM：将视觉与语义连接起来
紧凑型视觉语言模型在视觉结果之上增加了上下文理解能力：描述场景、回答关于图像的特定问题，或用自然语言解释事件——全部在本地完成，数据不会离开设备。
SLM：与边缘系统对话
小型语言模型可以解释用户命令、总结本地事件或生成简洁的解释，为摄像头、机器人和机器创建自然交互界面，而无需将每次交互都路由到云端。
内存方面呢？
开发者对边缘语言模型提出的第一个问题总是：有多少可用内存，能容纳多大的模型。DX-M1M 模块搭载 2 GB 专用板载 LPDDR4x，可轻松支持 VLM 和 SLM 工作负载以及视觉模型。
精度比峰值基准更重要
边缘 AI 性能只有在模型对您的应用实际面对的图像和条件保持准确时才有意义。DEEPX 将 INT8 优化视为一个精度感知的工程过程，而非简单的转换步骤：
从已知的 FP32 精度基线和明确定义的应用指标开始。
使用来自真实部署环境的代表性数据进行校准——而不仅仅是干净的样本图像。
使用 DX-COM 将模型编译和优化为可移植的 .dxnn 部署产物。
在最终的 Raspberry Pi 系统上比较精度、延迟、功耗和热行为。
这在边缘摄像头实际遇到的困难条件下最为重要：低光照、眩光、运动模糊、遮挡和异常角度。可信的结果应同时展示效率提升和保持的应用精度。
它到底有多快？
数字胜过形容词。以下数据是在运行 Sixfab 正式发布软件的 Raspberry Pi 5（8 GB）上测得的，对比了 DX-M1M 和 DX-M1 NPU：
| 工作负载 | DX-M1M (NPU) | DX-M1 (NPU) | | --- | --- | --- | | mobilenet_v2, 240×240 | 2361 FPS | 3223 FPS | | deeplabv3plus, 512×512 | 155 FPS | 231 FPS | | Qwen3-1.7B, 96 prefill tokens | TTFT: 599.04 ms TPS: 4.64 tok/s | TTFT: 544.58 ms TPS: 11.60 tok/s |
* DX-M1 使用 LPDDR5，而 DX-M1M 使用 LPDDR4X，由于内存带宽不同，导致了两者的性能差异。
从首次启动到首次推理
了解该平台最快的方式是验证硬件、运行一个打包好的模型，并观察 NPU 的工作情况。在 Raspberry Pi OS 上：
sudo apt update && sudo apt install apt-repo-sixfab sudo apt update && sudo apt install sixfab-dx dxrt-cli -s # confirm device and software status run_hello_world # run a packaged example dxtop # observe the NPU in real time
接下来，选择一个经过优化的 ModelZoo 工作负载，或通过 DX-COM 引入你自己支持的 ONNX 模型。生成的 .dxnn 文件通过 DX-RT 的 C++ 或 Python API（应用程序编程接口） 运行，而你的 Raspberry Pi 应用程序则继续处理摄像头、业务逻辑、用户界面、网络和控制。
软件栈一览
| 组件 | 为你做什么 | | --- | --- | | DX-COM | 将支持的 ONNX 模型优化并编译为 DEEPX .dxnn 产物。 | | DX-RT | 在目标设备上通过 C++ 或 Python API 运行 .dxnn 模型。 | | DX-Stream | 构建基于 GStreamer 的采集、推理和后处理流水线。 | | ModelZoo | 涵盖检测、分类、分割、姿态等领域的预优化示例。 | | dxrt-cli / dxtop | 一目了然地查看设备状态、利用率、温度、时钟和内存。 |
你能用它构建什么？
从家里开始。工作台上的一台摄像头，能识别你的 3D 打印何时失败，并给你发送一张快照和一行描述。一个前门摄像头，能区分快递员、邻居家的猫和徘徊的人——并在每天晚上完全在本地总结当天的事件。一个花园或宠物监控器，只对值得关注的事情发出提醒。所有这些都遵循同一个循环：CNN 看到事件，紧凑型 VLM 添加上下文，SLM 进行解释或解读你的下一条命令，然后你的 Raspberry Pi 应用程序做出决策并采取行动。
同样的循环可以扩展到严肃的部署场景：智能摄像头中减少云依赖的持续本地检测；生产线旁的低功耗视觉质量和安全监控；机器人上的感知和紧凑型多模态智能，同时 Raspberry Pi 运行 ROS 2 和控制逻辑；以及零售和智能空间中注重隐私的占用和行为分析。
它不适用于什么
与任何边缘加速器一样，AI HAT+ 并不试图与云端推理竞争。需要广泛世界知识、超长对话上下文或持续学习的应用，在计算和内存实际上不受限制的环境中总是运行得更好。DX-M1M 最擅长在摄像头或传感器旁运行范围严格限定、始终在线的智能——此时隐私、延迟、离线运行和个位数瓦特功耗预算才是真正决定设计的要素。坦诚面对这一边界，正是该平台在其适用范围内值得信赖的原因。
社区与下一步
深入探索所需的一切都是公开的：DX-AllSuite 和 ModelZoo 已在 GitHub 上发布，DEEPX Developer Portal 提供文档、指南和支持渠道，你可以在这里提问和提交 issue。
购买渠道
适用于 Raspberry Pi 5 的 25 TOPS Sixfab AI HAT+ 现已通过 Sixfab 发售，13 TOPS 版本预计将于 2026 年底推出。文档和快速入门指南链接见下方。
链接
Sixfab AI HAT+ for Raspberry Pi 5（产品页面）
Sixfab AI HAT+ Quickstart
DEEPX DX-AllSuite on GitHub
DEEPX DX-M1 product page
DEEPX Developer Portal
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Raspberry Pi Blog
原文作者：Ashley；如有侵权，请联系管理员删除。
