IBM Research与NASA、ESA等机构合作，开源了其Prithvi和TerraMind地球观测模型的极小型版本，这些模型几乎可以在任何设备上运行，从环绕地球的卫星到您口袋里的智能手机——同时保持其性能水平。

我们的世界正在以人类有记录历史上前所未有的速度发生变化。自然灾害、动物灭绝和森林砍伐只是世界各地组织每天都在努力缓解的部分挑战。AI为解决这些紧迫问题提供了新方法，但那些最接近问题的领域从业者往往无法使用这些工具。IBM Research正试图改变这一现状，利用就像您正在阅读本文所用的设备。

今天，IBM开源了其地理空间和地球观测模型的新轻量级版本，专为在笔记本电脑和智能手机等边缘设备上运行而设计。这些Prithvi和TerraMind模型的全新“tiny”和“small”版本可以在消费级设备上运行——与其行业领先的前代版本相比，性能下降非常小。这些模型可能重塑我们对在远离实验室的地区进行科学研究的认知，无论是在太空真空中还是在热带草原上。

观测地球——无论您身在何处

今年早些时候，IBM推出了TerraMind，一个用于地球观测（EO）的多模态生成式AI模型。该模型是在FAST-EO框架内开发的，该计划由德国航空航天中心（DLR）、于利希研究中心、IBM Research和KP Labs组成的联盟领导，并得到ESA的Φ-lab的支持和资助。TerraMind目前在PANGAEA等开放社区基准测试中处于领先地位，是唯一通过“这是一个预训练神经网络层，其权重保持不变，而模型的其他部分被训练。这可以提高效率并防止模型频繁遗忘。冻结编码器”策略超越传统EO方法的模型。

去年年底，IBM发布了最新版本的Prithvi，即Prithvi-EO 2.0，与NASA和JSC共同构建。这个新的地理空间模型大幅提升了其能力和性能，允许用户分析跨季节的数据点，帮助我们更好地理解地球的动态变化。该开源模型最近获得了美国地球物理联合会2025年开放科学认可奖。

虽然TerraMind和Prithvi功能强大，但它们并不特别便携。之前的版本需要强大的计算机才能运行，因此无法用于实时解决问题。想要在现实世界中使用这些模型的人需要将数据传输到更强大的硬件上，这会耗费时间并拖慢实验进度。这促使团队着手开发能够适配更多设备的版本。

新的Prithvi版本在GEO-Bench基准测试上使用完全微调策略进行了验证。在这里，Prithvi 600M与Prithvi.tiny之间的差异不到10%——尽管后者小了120倍。

AI的新空间

这些模型的规模和效力开辟了各种新的潜在应用，包括一些超越我们大气层范围的用途。

现代卫星本质上是装满传感器的太阳能计算机，环绕我们的星球运行。如今，它们通常搭载简单的机器学习模型，可以在轨道上执行特定任务。但这些软件通常在进入太空之前就已安装，因为卫星上行链路成本高昂。

借助IBM的新模型，冻结编码器可以在卫星发射前上传。然后，一个轻量级的、针对特定任务的模型解码器头可以在卫星入轨后通过波束上传。这些文件非常小，分类任务通常只有约1到2 MB，这意味着它们可以相对轻松地在卫星入轨时上传。这可能扩展卫星的能力，并有可能彻底改变我们在太空中使用数据的方式。这是迈向软件定义卫星理念的一步。

借助这些新版本的 Prithvi 和 TerraMind，卫星可以利用设备端处理能力实时分析和解读信息。卫星不再仅仅用于收集数据，现在还可以用于执行推理。卫星可以从它们收集的数 PB 级数据中筛选，只将相关信息传回地球。实时性对于气候灾害管理尤为重要，正如 ESA Φ-lab 在 D-Orbit 任务中所展示的那样，在拯救生命的过程中每一分钟都至关重要。

这些模型背后的团队与太空技术公司 Unibap Space Solutions 合作，在类似于地球轨道卫星的条件下，在设备上对模型进行了测试。TerraMind.tiny 和 Prithvi.tiny 被上传到 Unibap 的 iX5 和 iX10 计算平台。iX5 平台已被用于 NASA 运营的卫星上。

在 iX10 上，TerraMind.tiny 在 224×224 像素图像上可实现每秒 325 帧（fps）的推理速度，使用 12 个光谱波段，批大小为 32。Prithvi.tiny 使用六个波段达到了 329 fps。这相当于超过 2 Gbit/s 的处理数据量，而 Sentinel-2 卫星的原始数据速率约为 1 Gbit/s。较小的 iX5 系统推理速度大约慢五倍，但这仍然足以在星上运行较小的实时分析任务。

| 参数 | TerraMind.tiny | TerraMind.small | Prithvi EO 2.0 tiny TL | Prithvi EO 2.0 100M TL |
| --- | --- | --- | --- | --- |
| 参数量 | 5M | 20M | 5M | 87M |
| 编码器内存 | 23Mb | 86Mb | 22Mb | 328Mb |
| 多模态 | ✅ | ✅ | ⚙️ | ⚙️ |
| 多时相 | ⚙️ | ⚙️ | ✅ | ✅ |
| 生成式 | ✅ | ✅ | ❌ | ❌ |
| 性能下降*** | 15%* | 10%* | 4%** | 1%** |
| GFLOPs*** | 9% | 15% | 9% | 36% |
| iX10 上每秒帧数 | 325 | — | 329 | — |
| 适用场景 | 资源有限的硬件（如卫星） | 开发与边缘设备（如手机） | 资源有限的硬件（如卫星） | 接近最大性能的开发 |

模型家族对比表。1 ⚙️ = 可通过 TerraTorch 获取的扩展功能。

这些新模型也可以在性能远为普通的硬件上运行。在构建 TerraMind.tiny 时，团队使用 IBM TerraTorch 对模型进行微调，使其能够从无人机图像中检测大象。这基于 IBM 在 2024 年与 WWF 合作开展的一个保护非洲大象物种的项目。团队能够在 iPhone 16 Pro 上运行整个模型，并从无人机的实时视频流中推理图像，无需云计算或网络连接。

为了展示这些模型有多小却有多强大，团队构建了两个示例，可以直接在你所用任何设备的浏览器中运行。一个是 TerraMind.tiny 的演示，使用推理在图像中寻找大象，与 WWF 的应用非常相似。另一个使用 Prithvi-EO-2.0 Tiny 构建，用于从图像中对土地利用进行分类。这些演示的概览可以在这里和这里预览。

"通过 .tiny 和 .small 模型，我们扩展了 TerraMind 和 Prithvi 家族，并将我们的 AI 地球观测能力带到边缘设备上，" IBM Research 英国和爱尔兰实验室主任、该部门气候与可持续发展项目负责人 Juan Bernabé-Moreno 表示。"我们还希望通过大幅降低硬件要求来降低开发社区的采用门槛——任何拥有普通笔记本电脑的人都可以微调这些模型，并创建新的应用来更好地监测我们的星球。"

所有四个新模型现已在 IBM-NASA 和 IBM-ESA 的 Hugging Face 页面上以 Apache 2.0 许可证提供。有了新想法、一点微调，以及你手边的几乎任何设备，你就有可能解锁无数观察、理解和关爱我们星球的新方式。

"最终，真正定义一个模型的是它帮助释放了多少价值，" Bernabé-Moreno 补充道。

注释

• 注释 1：这是一个预训练的神经网络层，其权重保持恒定，而模型的其他部分则进行训练。这可以提高效率，并防止模型频繁遗忘。 ↩︎

参考文献

• *结果基于PANGAEA基准测试协议使用冻结主干网络获得。**结果基于GEO-Bench基准测试协议使用全量微调获得。***与大型版本（约300M）相比。 ↩

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/terramind-prithvi-tiny-small-models-geospatial