当 AI 生成图像已经能一次给出不错的结果时,下一步会发生什么?Simon Willison 在 2026 年 9 月 9 日的博客中给出了一个具体答案:把 AI 生成的图片交给运行 GPT-6 Astra 的 Codex,让它调用本地 Blender 技能,自动构建出一个可查看的 3D 模型。整个过程耗时 17 分 51 秒,最终产出了多个 .blend 文件,并被他集成进自己的浏览器端 Blender 查看工具中。
这篇文章不讨论宏大的 AGI 叙事,而是拆解一个具体的、可复现的“感觉编码”(vibe coding)工作流:从文本提示到图像,再到 3D 资产,最后到浏览器中的可交互预览。
Simon 的起点是一个个人兴趣项目——制作以流行文化为主题的法贝热彩蛋。他运行了一个提示,要求 ChatGPT Images 2.5 生成一张以电视剧《Pluribus》为主题的法贝热彩蛋照片,并特别注明“先进行研究”。
第一次尝试的结果,用他自己的话说,“还不错”。生成图像是一枚半开的黄色法贝热彩蛋,内部可以看到身穿黑色服装的 Carol 面对着一群面色苍白、令人不安的“joined humans”合唱团。场景中还有仙人掌,带有新墨西哥州阿尔伯克基的地域氛围,蛋座上刻有 Pluribus 铭牌。
这一步本身并不新鲜——AI 图像生成早已是常规操作。真正有意思的是接下来发生的事。
Simon 把生成的图片粘贴进运行 GPT-6 Astra(high)的 Codex,并给出提示:
使用你的 blender 本地技能创建这个法贝热彩蛋的 blender 模型
这里的关键词是“本地技能”。根据素材,Simon 为此创建了一个技能文件,让 Codex 能够调用本地的 Blender 能力。这不是简单的 API 调用,而是一个将自然语言指令、视觉输入和本地 3D 工具链串联起来的工作流。
Codex 运转了 17 分 51 秒,最终构建出几个 .blend 文件。这个时长本身值得注意:它不是秒级响应,而是一个需要持续计算和迭代的过程。依据现有素材判断,这期间模型需要解析图像中的几何结构、材质、装饰细节,并转化为 Blender 可执行的建模操作。
Simon 之前已经有一个“凭感觉编码”的 Blender 查看实验,他把这次生成的 Pluribus 模型加入了自己的工具集合,现在可以在浏览器中直接查看。
从截图信息来看,这个查看器的能力相当具体:
查看器界面提供了 Fit、Wireframe、Clear 等控制按钮,底部信息面板会显示模型统计信息。这意味着用户不需要安装 Blender,就能在浏览器中旋转、缩放、切换线框模式查看这个 AI 生成的 3D 模型。
从截图描述看,模型本身包含了相当丰富的细节:金色蛋壳、绿色宝石、珍珠、华丽卷草纹、一圈微笑的白色蛋形面孔、绘有仙人掌和沙漠场景的椭圆形徽章,蛋由四条金色腿支撑,立于黑色大理石底座之上,底座上有金色 PLURIBUS 铭牌。蛋顶打开,内部是一个微型沙漠立体场景,有绿色仙人掌、棕色岩石,中央站着一个穿黑色西装的小人。
AI 图像生成解决的是“看起来像什么”,而 3D 建模解决的是“结构上是什么”。后者需要几何、拓扑、材质、层级关系等一系列结构化信息。Simon 的实验展示了一条路径:用图像作为中间表示,让 LLM 驱动本地专业工具完成从 2D 到 3D 的转换。
素材中明确提到 Simon 创建了技能文件,让 Codex 能够使用 Blender 本地技能。这个模式的意义在于:LLM 不需要自己实现 3D 建模算法,而是学会调用已有的专业工具。Blender 作为开源 3D 工具链,其 Python API 和脚本能力为这种自动化提供了基础。
生成的 .blend 文件如果只能在 Blender 中打开,传播和分享的门槛会很高。Simon 的查看器通过 jsDelivr 解析 GitHub 上的文件,让用户点击链接就能在浏览器中查看。这个“生成—托管—预览”的闭环,是让 AI 生成 3D 资产真正可用的重要一环。
17 分 51 秒的生成时间,对于个人实验可以接受,但对于需要快速迭代的生产流程仍然偏长。依据现有素材判断,这个时间主要消耗在模型推理和 Blender 操作执行上。随着模型效率和工具调用优化,这个数字可能会下降。
Simon Willison 的这篇博客,本质上是一个“感觉编码”的案例记录。它展示的不是某个单一技术的突破,而是多个已有能力的组合:
这个组合指向一个更广泛的趋势:AI 正在从“生成内容”走向“操作工具”。LLM 不再只是输出文本或图像,而是能够驱动专业软件完成复杂任务。对于 3D 建模、CAD、视频编辑、音频处理等领域,这种模式都有潜在的适用空间。
同时也要看到限制。素材中没有提供模型精度、拓扑质量、是否可直接用于生产等细节。依据现有素材判断,这仍然是一个实验性工作流,距离工业级 3D 资产生产还有距离。但它指出的方向是清晰的:LLM 作为工具调用者,而不是工具替代者。
Simon Willison 的 Pluribus 法贝热彩蛋实验,是一个小而完整的技术演示。它从一句提示开始,经过图像生成、LLM 驱动 Blender 建模、浏览器端预览,最终形成一个可分享、可交互的 3D 资产。
这个工作流的价值不在于它有多完美,而在于它展示了当前 AI 工具链的一种可能组合方式。对于关注 AI 辅助创作、3D 内容生成、LLM 工具调用的人来说,这是一个值得跟踪的实践方向。
生成标记:本文由 ITPUB 文章生成平台基于已选素材整理生成。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69901620/viewspace-3182406/ ,如需转载,请注明出处,否则将追究法律责任。