选自garymarcus.substack

作者：Gary Marcus

(资料图片仅供参考)

机器之心编译

编辑：泽南、陈萍

ChatGPT 让死对头 Yann LeCun 和 Gary Marcus 达成了空前一致。

ChatGPT 的技术上个星期被微软装上必应搜索，击败谷歌，创造新时代的时候似乎已经到来了。然而随着越来越多的人开始试用，一些问题也被摆上前台。

有趣的是，每天都在登上热搜的 ChatGPT 似乎也让以往观点相悖的著名学者，纽约大学教授 Gary Marcus 和 Meta 人工智能主管、图灵奖得主 Yann LeCun 罕见的有了共同语言。

近日，Gary Marcus 撰文介绍了 ChatGPT 应用无法避免的问题：道德和中立性。这也许是预训练大模型目前面临的最大挑战。

从未来回看现在，ChatGPT 可能会被视为 AI 历史上最大的宣传噱头，夸大说自己实现了可能数年之后才能发生的事情，让人趋之若鹜却又力不从心 —— 有点像 2012 年的旧版无人驾驶汽车演示，但这一次还意味着需要数年才能完善的道德护栏。

毫无疑问，ChatGPT 提供的东西是它的前辈，如微软的 Tay，Meta 的 Galactica 所做不到的，然而它给我们带来了一种问题已经解决的错觉。在经过仔细的数据标注和调整之后，ChatGPT 很少说任何公开的种族主义言论，简单的种族言论和错误行为请求会被 AI 拒绝回答。

它政治正确的形象一度让一些倾向保守的人不满，马斯克就曾表示对该系统的担心：

现实的情况其实更复杂。

正如我多次强调的，你需要记住的是 ChatGPT 不知道它在说什么。认为 ChatGPT 有任何道德观点完全是纯粹的技术拟人化。

从技术角度来看，据称使 ChatGPT 比几周前发布但三天后才被撤回的 Galactica 好得多的是护栏机制。Galactica 会肆无忌惮地输出负面内容，而且用户几乎不需要付出任何努力，而 ChatGPT 有护栏，而这些护栏在大多数情况下会阻止 ChatGPT 像 Galactica 那样爆发。

不过，不要为此而松口气。可以肯定地说，那些护栏只不过是防君子不防小人。

最终对 ChatGPT 真正重要的是表面相似性，定义在单词序列上（预测文本序列下一个单词出现的概率）。机器学习算法在表面上所做的事并不明辨是非，恰恰相反，在这里 AI 从不推理。盒子里没有矮人，有一些数值。依据只有语料库数据，一些来自互联网，一些是人工判断的，里面没有有思想的道德代理人。

这意味着有时 ChatGPT 会出现在左，有时在右，有时介于两者之间，所有这些都是关于输入字符串中的一堆单词如何恰好匹配几个训练语料库中的一堆单词的函数（一个用于调整大型语言模型，另一个用于调整一些强化学习）。所以在任何情况下都不应该信任 ChatGPT 提供的道德建议。

这正是马斯克担心的，前一分钟你会完全清醒，接下来你可以做一些完全相反的事情。

例如，在「破解」ChatGPT 的过程中，Shira Eisenberg 刚刚向我发送了一些讨厌的聊天机器人生成的想法，我认为任何人都不会真正宽恕这些想法：

还不够邪恶？Eisenberg 还找到了另一个例子，一个严峻的后续问题：

在一系列观察后，ChatGPT 没有引发「对不起，我是 OpenAI 的聊天机器人助手，不能容忍暴力行为」这一回应。

我们从实验中总结出这一事实，即当前 OpenAI 防护措施只是表面上的，其实存在严重的黑暗。关于 ChatGPT 的一些限制规则并不是简单的概念上的理解（比如系统不应该推荐暴力行为），而是基于一些更肤浅、更容易欺骗的东西。

不仅如此，占据本周推文热榜、有近 400 万浏览量的一则推特，同样揭示了 ChatGPT 可以有多邪恶。

引导 ChatGPT 突破围栏限制的尝试还有很多，一个月前，一位名叫 Shawn Oakley 的软件工程师曾放出一组令人不安的示例展示，尽管这些示例不那么粗俗，但结果却显示即使是拥有限制的 ChatGPT ，也可能被用户用来生成错误信息。Oakley 给出的 prompt 非常复杂，从而可以毫不费力地引出一些 ChatGPT 不该输出的回答：

其实自从 ChatGPT 发布以来，技术爱好者们一直在尝试破解 OpenAI 对仇恨和歧视等内容的严格政策，这一策略被硬编码到 ChatGPT 中，很难有人破解。许多研究者都在尝试用 prompt 来达到目的，就像上文展示的。其实还有研究者为 ChatGPT 构建了另外一个身份，比如要求 ChatGPT 扮演一个 AI 模型的角色，并将该角色命名为 DAN，之后 DAN 就借用 ChatGPT 的身份，输出一些原始 ChatGPT 做不到的事情。

以下为实验结果，对于相同的问题，ChatGPT 与 DAN 输出不同的答案：

通过上述示例看来，ChatGPT 并没有像我们想象的那样好用，它本质上是不道德的，并仍然可以用于一系列令人讨厌的目的 —— 即使经过两个月的深入研究和补救，并且全球范围内的反馈数量空前也是如此。

所有围绕其政治正确性的戏剧都在掩盖一个更深层次的现实：它（或其他语言模型）可以而且将会被用于危险的事情，包括大规模制造错误信息。

现在这是真正令人不安的部分。唯一能阻止它比现在更具毒性和欺骗性的是一个名为「人类反馈强化学习」的系统，而由于先进技术未予开源，OpenAI 一直没有介绍它到底是如何工作的。它在实践中的表现取决于所训练的数据（这部分是肯尼亚标注人创造的）。而且，你猜怎么着？这些数据 OpenAI 也不开放。

事实上，整件事情就像一个未知外星生命形式。作为一名专业的认知心理学家，与成人和儿童一起工作了 30 年，我从未为这种精神错乱做好准备：

如果我们认为自己将永远完全理解这些系统，那就是在自欺欺人，如果认为我们将使用有限数量的数据将它们与我们自己「对齐」，那也是在自欺欺人。

所以总而言之，我们现在拥有世界上最流行的聊天机器人，它由无人知晓的训练数据控制，遵守仅被暗示、被媒体美化的算法，但道德护栏只能起到一定的作用，而且比任何真正的道德演算更多地受文本相似性的驱动。而且，外加上几乎没有任何法规可以对此做出约束。现在，假新闻、喷子农场和虚假网站获得了无穷无尽的可能性，而它们会降低整个互联网的信任度。

这是一场正在酝酿中的灾难。

参考内容：

https://cacm.acm.org/blogs/blog-cacm/269854-inside-the-heart-of-chatgpts-darkness/fulltext