最近加拿大魁北克大学教授Daniel Lemire发表了一篇关于《我们该拿ChatGPT怎么办》的博客，原文链接：https://lemire.me/blog/2023/04/03/what-are-we-going-to-do-about-chatgpt/

该篇文章探讨了人工智能中生成型人工智能及其可能产生的影响。虽然一些知识分子提议全球禁止先进人工智能研究，但该作者认为暂停是无法执行的，禁令也不可行。文章认为，生成型人工智能是一种颠覆性的技术，可能会扰乱教育，但也会带来巨大的好处。文章建议要遵循OODA循环：观察-定向-决定-行动，并在面对未知事物时决策之前进行观察。最后作者认为，我们需要继续探索生成型人工智能，并在探索中积极寻求平衡。

下面是对原文进行翻译

生成型人工智能，特别是ChatGPT，在全球范围内掀起了热潮。一些知识分子提议，我们应该通过军事行动等方式全球禁止先进人工智能研究。许多领先的研究人员和评论员提议进行为期六个月的“暂停”，在此期间我们不能训练更高级的人工智能。

然而，为期六个月的暂停实际上是无法执行的。我们曾经在抑制新冠疫情方面封锁了几乎整个世界。但正如政治丑闻中的“派对门”所展现的那样，高层政治家很乐意绕过规则。难道我们真的认为NSA和其他主要政府会遵守我们的暂停吗？

新冠疫情还表明，本来只是简短的暂停，可以一次又一次地延续下去，直到变得不可持续。哲学家和计算机科学家已经花费了过去五十年的时间研究人工智能安全问题，你认为我们会在未来六个月内有一个概念性的突破吗？我们已经有流行文化中的叛逆但有益的人工智能很长时间了：如《2001：太空漫游》（1968）中的HAL 9000、《月亮是个严女士》中的Mike（1966）。我在看《迷失太空》（1965）长大，那里的智能机器人常常会造成伤害。六个月的时间不足以取得新的哲学突破。雪莱的《弗兰肯斯坦》于1818年出版。可以提出这样的论据：怪物本身并不是危险的，而是人类对待它的方式。在某种意义上，造成悲剧的是弗兰肯斯坦本人，而不是他的怪物。

通过全面禁止先进人工智能研究去彻底解决问题是不可行的：这几乎肯定需要打仗。你可能会反对说，我们成功阻止了核武器的扩散...但这是一个错误的类比：所建议的是完全全球性禁令。我们从未试图禁止核武器，我们只将其限制在强大的国家。如果你只想阻止一些国家像朝鲜这样的国家拥有先进的人工智能，那可以通过切断他们的互联网并阻止他们进口计算机设备来实现。但是想要阻止美国人进行人工智能研究吗？当我们试图禁止病毒的功能性增益研究时，其研究活动就移师到了中国。

目前，只有大型公司和政府可以生产类似ChatGPT的东西。然而，在未来几年里，生成型人工智能模型的训练和运行成本似乎可能会降低。如果真的如此，我们可能会面临一个选择：要么完全禁用计算机，要么接受强大的新人工智能软件。

话虽如此，我们可以拖延技术进步。这甚至是相当容易的。几十年来，我们基本上通过增加规定层面来停止了核反应堆的改进。

因此，尽管全球禁令或暂停不太可能实现，但是在世界某些地区，我们可以显著地破坏人工智能研究。我们可以要求操作强大计算机的人寻求许可证。我们可以停止资助人工智能研究。这在中国能行吗？值得怀疑，但如果我们在北美和欧洲停止人工智能研究，它将有损进展。

让我们慷慨一些：也许我们可以阻止人工智能。我们可以将它冻结在原地。但我们应该这样做吗？

这是一个单面押注谬误的例子。单面押注谬误的做法如下：一张彩票实际上花费不了几美元。但你可以赢得巨额（数百万美元）。因此，你应该购买彩票。这是一个谬论，因为彩票的成本并非微不足道，你只是在想象中将其归零了。

这是什么样的单面押注谬误实例？我们假设暂停是免费的，但风险是巨大的。因此，暂停看起来像一个好交易。

人类文明不是静止的，它从来都不是。当马尔萨斯（Malthus）预测人类注定会不断挨饿时，他犯了一个错误。他的逻辑是数学的：如果给予更多的食物，人类会呈指数增长，直到耗尽食物供应。

就我们所知，我们的近期或中期救赎可能需要更先进的人工智能。在我们获得一些专家之前，我们需要经验。而且，我们应该听取所有有知识的人的建议，而不只是那些讲可怕故事的人。Yann LeCun和任何人工智能专家一样，他完全反对暂停。

我是说我们不应该做任何事情吗？不要陷入政客的三段论谬误中：

• 我们必须做点什么。

• 这很重要。

• 因此，我们必须这样做。

我们必须做些什么。这就是一些东西。因此，我们必须这样做。这是另一个谬论，认为你必须做一些事情，无论是什么。当面对未知事物时，你必须遵循OODA循环：观察-定向-决定-行动。注意，行动是最后一步吗？注意决策是在你进行观察之后吗？

在我看来，我们正在处理一种颠覆性的技术。历史上，颠覆性技术几乎消灭了整个行业，或整个职业。生成型人工智能将会扰乱教育：它已经开始这样做了。但是，新技术也带来了巨大的好处。麦肯锡告诉我们，人工智能可能意味着每年多增加1.2%的经济增长。如果是这样，那是对社会做出的巨大贡献：如果我们想让人们摆脱贫困，拒绝这一点是不可取的。我预计，在某些行业，团队人数较少的小团队能够完成以前需要大团队才能完成的工作，将会出现巨大的生产力增长。转变从未立竿见影。它往往需要比你想象的时间更久。但很快就会到来。

译文至此完毕！

下面是6位博友的评论

Patrick

到目前为止，ChatGPT似乎并没有处理实际的概念、处理意义或产生实际的信息。相反，正如尼尔·盖曼在推特上所说，它只会产生“信息型句子”。

举个例子：想想我朋友的“四月”项目上发布的这条评论：

https://github.com/phantomics/april/issues/269#issuecomment-1491731824

在那里，评论者引用了GPT4，该公司推测，4月份观察到的一个错误是由于它比较了内存地址，而不是进行深入比较。它的诊断听起来很有道理。问题是，这不是真的。

我的朋友在下面回复说，四月实际上并没有比较记忆的位置。显然，GPT4刚刚看到了一大堆讨论，并收集了最有可能具有统计相关性的输出。它只是“生成的”，就像生成语法中可以在某些语法中生成无限组字符串一样。

正如科林·赖特在推特上所说：“GPT可以产生正确的东西，但它也会产生看起来可能正确但绝对错误的东西。所以需要有人检查它。”

我最初认为GPT可能使用了类似“概念依赖网络”的东西，这是我在80年代通过Janet Kolodner在GA Tech了解到的。我们编写的程序“知道”在餐厅用餐等常见场景，你可以给它讲一个故事，然后问它里面发生了什么。至少这是在处理意义的概念。但我不认为GPT是这样工作的。

Daniel Lemire

它可以生成好看的内容，但正如你所说，它不像聪明人那样聪明。

Dong Xie

在谈论禁止人工智能和模型之前，我们应该真正了解它是什么。一个能够生成一些连贯句子的生成模型不仅具有“智能”。与其为它变得多么“聪明”而恐慌，我们更应该担心它是否真的很愚蠢。看起来更强大的模型并不可怕；盲目相信他们而不讲道理是错误的。

Ian Beauregard

一个生成模型，可以生成一些看起来连贯的句子，并不意味着它有“智慧”。

Patrick

我可以看到GPT在搜索引擎中非常有用，所以它可以很好地查找1964年别克云雀和1963年庞蒂亚克暴风的事实。但我认为它（还）不具备提出这样一个连贯论点所需的概念知识：

https://www.youtube.com/watch?v=W7YoxrKa4f0

我认为这与生成听起来令人信服的句子是一个非常不同的过程，因为它们实际上是由大规模神经网络训练中观察到的概率衍生出的“语法”产生的。

人工智能在消除脑力劳动方面也非常有用，例如在符号代数和微积分方面。但请注意，这些概念已经很好地确立，结果几乎可以保证是正确的。

我意识到人类的概念思维能力越来越缺乏，但完全消除这种需求的冲动是非常危险的。人们可能因此而死亡。

我甚至不确定神经网络本身能否生产出有能力的自动驾驶汽车。当然，他们不会像人类司机那样感到疲劳和分心，但（到目前为止）他们缺乏人类司机的概念能力。

al butlerian

当谈到人工智能时，我的恐惧主要与它可能带来的混乱、暴力和虐待有关。

在看到“特朗普被捕”和“时尚教皇”的照片后，我想用不了多久，人们就会开始通过与“受害者”一起制作色情和暴力材料来骚扰他人。

有了“生成性”证据的假新闻将成为一件事。很难辨别真伪。即使现在也很难，但要坚持5-10年。

网络诈骗将以创造性和创造性的方式蓬勃发展。想象一下，你的孙子打电话给你，要求你给他们寄点钱，因为他们出了事故。

抄袭教育将成为常态。

禁止人工智能并不能解决问题。我们只需要应对新的挑战，作为一个社会，我们要有足够的创造力来适应混乱。这将很艰难，而且进展很快。