来源：Medium

作者：Mike Hearn

《星际迷航》（Star Trek）中的全息甲板（Holodeck）最引人关注的就是它创造出虚拟“实感”的方式。

其次，企业号航空母舰（U.S.S. Enterprise）上的电脑也引人关注。它可以依据简单的提纲来即时生成场景和故事。《星际迷航》中，让人记忆犹新的那几集，往往都是舰上船员们扮演成他们“编写”进电脑中的故事里的人物，当然，船员们表演的“故事”总是朝着意想不到的方向发展。

船员们使用全息甲板时，通常只需要告诉星舰他们想要什么。鉴于这些技术并未违背任何已知的物理定律，在我有生之年里，它将是最有可能实现的。

很显然，如果使用VR体验代替《星际迷航》中的全息图，这种娱乐技术实际上是可以实现的。很遗憾，奇怪的是几乎没有人提到这一想法：人工智能技术正处于巨大而毫无根据的道德恐慌之中，很多成果因政治原因而受到限制。

但这些先按下不表，让我们探索一下即将实现的迷人技术。

我们即将开发出这样的人工智能软件：我们只需提供粗略的想法，这些软件就可以为我们创造出完整的虚构世界和故事。这些故事可以在人工智能生成的VR体验中实现，任何人都可以表达想法，创造自己的内容。

独立创造或协作创造出的“世界”将被上传到未来类似YouTube的视频网站上。由用户创作或人工智能辅助创作的内容将在这些视频网站上流播、共享和二次合成。

我们怎样才能创造出这种软件呢？

实现这一目标的核心技术突破是生成式对抗网络（generative adversarial network），简称GAN。

生成式对抗网络的概念很简单：两种神经网络在一种人工智能战斗中互相博弈。一种神经网络（鉴别器）通过某些数据集加以训练，如人脸图片。它的任务是猜测输入数据是否是合成的。另一种神经网络（发生器）用于在给定的随机输入下生成输出。它的任务是生成一个能“骗过”鉴别器的输出。

两个神经网络同时进行训练，随着训练的推进，两者都会变得更强。最终，发生器强大到足以生成连鉴别器乃至人类都无法辨别真伪的内容。

这不是一个复杂的构想，但其结果是意义深远的：机器第一次被赋予了想象力。以下是迄今为止，我最喜欢的一些成果。

如今标准的范例是通过人工智能随机生成人脸照片。此外，它还能生成所有训练过的数据集内容，比如汽车、猫等等的照片。更为实用的是，人们还掌握了控制所生成图像精确风格的方法。

人工智能可以作曲。请注意，这曲子不需要真人交响乐团来演奏——给出乐谱或MIDI（音乐设备数字接口）文件，只要有好的样本库，计算机就已经能够模拟演奏出让人类无法分辨真伪的交响乐。真人交响乐团仍然存在，是因为其所具有的商业价值。

着名的GPT-2文本生成模型，根据启动提示生成的随机文本：

然后是GauGAN软件，它能将彩色编码的草图转换为虚构的照片。当然，你也可以做3D版。

最后，根据一个由游戏引擎生成的基本概念模型，对虚拟世界进行渲染（实际上就是渲染纹理和光照贴图）：

现在，你应该对生成式对抗网络有所了解了，生成式对抗网络具有广泛的用途：

- 根据它们经过的训练（如人脸或音乐片段）生成完全随机的模仿品。

- 为“骨架”或草图补全细节。

- 以各种方式（不仅仅是文字形式）预测“下一步发生的事情”。

这虽然很棒，但跟全息甲板还差得很远。下面将描述实现深度、彻底的VR体验所需要解决的问题。

问题一：将生成式对抗网络组合起来

我们遇到的第一个问题是，目前为止，没有一个通用的神经网络可以生成所有的东西。大多数研究都在开发针对一项特定任务的独立人工智能，例如专门用来生成猫的图片或一段音乐。目前，单个人工智能似乎无法完成两个类型的任务。

还有，如何训练人工智能学习多种类型的任务，目前也是未知的。人工智能需要通过大量的范例来学习。除了视频游戏，很少有完整的充满想象力交互的世界。但可能没有足够多的视频游戏来让人工智能学习如何生成它们。

此外，范例需要大量的精细控制，完全随机的世界是不能作为人工智能学习范例的。

因此，构建一个真实的虚拟世界，需要将不同的生成式对抗网络组合在一起：负责作曲的、负责生成人脸的、负责生成身体的、负责将人脸处理为可以输入3D引擎的纹理贴图的……

的确。但目前还不清楚，是否可以尝试使用神经网络生成“一切”，有两个大问题需要考虑：成本和一致性。

问题二：成本

训练一个不那么精确的生成式对抗网络并不太昂贵。但对它们进行进一步训练，直至每次都能生成良好的结果，就非常困难和昂贵了。

进行训练所需的硬件需要专门的芯片，其中一些芯片甚至无法购买，只能从Google这样的公司租用。

但真正的成本来自于创建一个足够大且干净的数据集以供训练使用。研究人员倾向于一次次重复地使用相同的数据集，因为创建新的数据集需要花费大量时间和精力。

不只是训练，实际上运用这些神经网络（这被称为推理）也是一项会使大多数硬件超负荷运转的任务。

Google已开始发行配备专用人工智能加速器的手机，但这种加速器仍然是一项非常新的技术。在普通的MacBook上无法运行TensorFlow任务，因为它没有所需的强大的GPU。

因此，消费者使用人工智能的任务经常被外包到云端。这没什么，但是云服务非常昂贵。

所以，人类希望将现有人工智能的数量限制在最小，以保证价格合理。幸运的是，在许多情况下，人类不需要训练人工智能来执行任务，因为我们已经用我们的聪明才智研究了问题，并找到了良好的算法。

可能不需要人工智能的地方

人工智能可以通过预测下一个波形来生成音乐。但我们不需要一秒秒地预测音乐下一刻是什么样的。人工智能足以能够生成诸如乐谱一样的东西，然后使用普通的音乐软件丰富它，生成听起来非常真实的合成交响乐。

而生成MIDI文件后直接使用经典算法将其呈现为音频，可能要比从人工智能直接生成音频要快得多。

同样，人工智能可以用于渲染3D场景照片，但我们已经知道如何使用算法将照片实时渲染得逼真，所以这里也不需要人工智能。

人工智能可以预测物体在物理定律下如何碰撞和撞击，但几个世纪以来，人们已经完全理解了物理定律。多年来，高端游戏中一直有完全准确的硬件加速物理模拟。

除了成本问题之外，还有另一个阻碍人工智能的因素。

问题三：连贯性

如果仔细观察生成式对抗网络生成的输出，很快就会发现它们经常出现小问题，即使在模型经过数周训练、学习了大量数据后也同样如此。

这些小问题很有趣。如果不仔细研究，就会以为GPT-2模型生成的故事都讲得通，例如：

“这些四角、银白色的独角兽以前不为科学界所知。”

人工智能学到了独角兽有角，但没有学到这一相当重要的细节：它们只有一个角。GPT-2模型还被要求写一个奇幻故事：

“阿拉贡（Aragorn）拔出剑，并赢得了法贡森林（Fangorn）之战。当他们穿过灌木丛时，清晨的薄雾消散了，白天变成了黄昏（dusk）。”

这是早上，还是晚上？人工智能没有准确的时间感。

类似问题在图片处理上也存在。

生成式对抗网络在人脸合成方面成果喜人，因为它们已学习了具有惊人一致度的训练数据——互联网上有很多背景简单、类型一致的名人照片，而且我们已经有了可以进行人脸检测的算法，因此很容易就能裁剪人脸图片和确定人脸中心。

但是生成式对抗网络很难理解那些出现频率较低的“常识”，比如：耳环和眼睛的颜色通常是相配的。

对于人脸合成来说，这种问题可以通过规模更大、质量更好的模型来消除，但仍然存在一个普遍问题：对人工智能下指令生成某种东西时，它有时会生成一些毫无意义的东西。这是因为它正在学习如何“猜测”所收到指令的意图。

在足够了解世界的基础上创造出严密的算法来求得正确答案，这样做可能是更可取的，因为这些算法都是基于真正的理解，因此每次都不会出错。

这一点尤其正确，因为人类越依赖人工智能来生成世界的细节，就会复合和叠加越多的错误。

对生成过程的控制

到目前为止，人工智能产品可控制的部分十分有限。人们可以使用标签绘制图像，并生成照片；可以调整旋钮来获得不同的人脸。但在《星际迷航》中，角色们只需要用几句话，人工智能就可以生成他们想要的东西。我们也可以这样做吗？

值得注意的是，答案是肯定的！

我们已经几乎掌握了利用人工智能技术实现语音识别。最新的Google语音识别几乎和人识别得一样准确，并且它很快就会变得更准。剩下的工作就是基于文本描述，“想象”事物。

生成式对抗网络具有非凡的“转化”能力——基于学习过的范例，实现从一种输入到另一种输入的复杂转换。这是从文本到照片的转化，正是我们需要的。

综合问题

如何仅仅根据某人录音里的口头要求来生成一个3D世界呢？现在我们大致了解了实现这一构想所需的工作。

首先，我们需要一个GPT-2模型，在给出提纲的情况下自动补全合理的故事和描述。用户可以通过逐步向提纲添加更多细节来纠正文本中的错误。

这十分必要，因为某种程度上，生成式对抗网络现在还只是“虚张声势”。他们可以生成陈词滥调、辞藻堆砌的散文，但很难创作出任何真正新颖或有趣的东西。

人类的输入将使原本创造出的了无新意的世界变得富有创意、值得探索。

接下来，我们需要一个模型，可以将生成的描述扩展为图像、布景、角色等。这些模型的输出将作为数据提供给Unreal这种常见的游戏引擎，因为这些引擎已经非常擅长以高可信度、高可控性和高成本效益性的方式将3D数据转换为像素。

角色需要脚本——这就再次回到了文本生成模型——和声音，此外语音合成也是生成式对抗网络所擅长的领域，所以这些都不是问题。

角色们还需要合理的互动和情感，而人工智能也可以学习这些：我离开Google前看到的几个样带中，有一个是人工智能为儿童读物标注人物在每个情节的感受。人工智能驱动的脚本及交互是我在2017年研究过的主题。

人工智能或能从一段情感丰富的音乐中获益，输出更有价值的体验。列出你“灵感来源”的音乐片段，生成式对抗网络就会生成一段听起来和它们相似但实际上不一样的音乐。但这样做将对版权法造成严重破坏。

每当人工智能出错并生成不合常理的结果时，人类都可以添加更多输入，使其重回正轨。

最终成果可以在类似YouTube的新网站上发布，以分享生成的世界。有时它们还可用于盈利（希望不是以讨厌的植入广告形式）。

游戏源代码、经验、虚拟课程、建筑探索或其他任何的创造性成果，最终都能转化成文本形式。

结论

而如今的艺术家、音乐家、演员和编剧们将面临怎样的未来呢？

如同自动驾驶时代中的卡车司机一般，我们的社会或许很快就会淹没在一场因文化创造者失业而产生的大规模的歇斯底里中。

但从长远来看，我们没有理由担心。创造力主要关乎想象力，而非将想象转化为现实这一痛苦的过程。

实验室取得的的成果令人瞩目，但其瞩目的部分往往是被精心挑选出来的（并不一定是全部），并且需要很长时间才能投入到日常生活使用。

而当它们进入日常生活中时，人们早已再次提高了目标和追求，人工智能的加入只会是基本需求，而非对工作的威胁。

我们还可以预见到类似YouTube效应的结局：只需基于文本即可轻松创建电影、音乐和游戏的能力，这将使我们沉溺于人工智能生成的大量乏味衍生内容——这是发生在普通城市，主角为平凡人的最平淡日常故事。

如果没有病毒式传播、算法推荐和其他方法来取其精华去其糟粕，YouTube将无法运作，未来的全息甲板也将如此。

https://www.toutiao.com/a6717537467550925320/