观点：人工智能之所以危险，是因为有一天它会完全不受控制

“在大多数情况下，为使这些系统更智能，人们不断让它们变得更大。但我们绝对没有做的一件事是：更好地理解它们。”

2018 年在达沃斯世界经济论坛上，谷歌 CEO 桑达尔·皮查伊 (Sundar Pichai) 表示：“人工智能可能是人类有史以来最重要的事情。我认为它是比电或火更深刻的东西。” 皮查伊Pichai的评论遭到了一定的质疑。但近五年后，它看起来越来越有先见之明。

AI 翻译现在非常先进，它即将消除互联网上使用最广泛语言之间的障碍。大学教授们正焦头烂额，因为人工智能文本生成器现在可以像普通本科生一样写论文——这使得作弊变得容易，而抄袭检测器无法发现。人工智能生成的艺术品甚至赢得了博览会比赛。一个名为 Copilot 的新工具使用机器学习来预测和完成计算机代码行，使 AI 系统能够自行编写的可能性更近了一步。DeepMind 的 AlphaFold 系统，使用 AI 预测了几乎所有存在蛋白质的3D 结构令人印象深刻，以至于科学Science 杂志将其称为 2021 年度突破。

虽然其他技术领域的创新可能会让人感到乏力——正如任何等待元宇宙的人都知道的那样——人工智能正在全速前进。随着越来越多的公司将更多资源投入到 AI 开发和计算能力中，快速的进步正在推动惊人的进展。

当然，将我们社会的很大一部分交给我们几乎不了解的黑盒算法会产生很多问题，这已经开始引发针对当前 AI 歧视和偏见挑战的监管反应。但鉴于该领域的发展速度，超越被动模式早已过去，在这种模式下，我们只会在 AI 的缺点明确和存在时才加以解决。我们不能只考虑今天的系统，还要考虑企业的发展方向。

我们正在设计的系统越来越强大，越来越通用，许多科技公司明确将他们的目标命名为通用人工智能 (AGI)——可以做人类能做的一切的系统。但是创造比我们更聪明的东西，它可能有能力欺骗和误导我们——然后只是希望它不想伤害我们——是一个糟糕的计划。我们需要设计我们了解其内部结构并且能够将其目标塑造为安全目标的系统。然而，我们目前对我们正在构建的系统的了解还不够深入，无法在为时已晚之前知道我们是否已经安全地设计了它们。

有人致力于开发技术来理解强大的 AI 系统并确保它们可以安全地使用，但目前，安全领域的状况远远落后于使 AI 系统更强大、更有能力和更强大的投资飙升。这将产生更危险的趋势。

会思考的计算机

人脑是进化史上最复杂、最有能力的思维机器。这就是为什么人类——一个不是很强壮、不是很快、也不是很坚韧的物种——坐在食物链的顶端，数量每年都在增长，而许多野生动物却濒临灭绝。

从 1940 年代开始，后来成为人工智能领域的研究人员开始产生一个诱人的想法：如果我们通过类似于人脑工作方式的方法来设计计算机系统会怎样？我们的大脑由神经元组成，这些神经元通过连接突触向其他神经元发送信号。神经元之间的连接强度会随着时间的推移而增强或减弱。经常使用的联系往往会变得更牢固，而被忽视的联系往往会减弱。所有这些神经元和连接一起编码了我们的记忆和本能、我们的判断和技能——我们的自我意识。

那么为什么不以这种方式构建计算机呢？1958 年，弗兰克·罗森布拉特 (Frank Rosenblatt) 完成了概念验证：基于简化大脑的简单模型，训练机器的大脑识别模式。“有可能制造出可以在流水线上自我复制并意识到自己存在的大脑，”他争辩道。罗森布拉特Rosenblatt没有错，但他太超前了。计算机不够强大，数据不够丰富，无法使这种方法可行。

直到 2010 年代，人们才清楚这种方法可以解决实际问题而不是无用问题。到那时，计算机的功能比罗森布拉特Rosenblatt时代强大了1 万亿倍，并且有更多的数据可以用来训练机器学习算法。

这种技术——现在称为深度学习——开始在计算机视觉、语言、翻译、预测、生成和无数其他问题上明显优于其他方法。这种转变与消灭恐龙的小行星一样微妙，因为基于神经网络的人工智能系统”粉碎“了从计算机视觉到翻译到国际象棋的所有其他竞争技术。

“如果你想在许多困难问题上获得最佳结果，你必须使用深度学习，”Ilya Sutskever——OpenAI 的联合创始人曾表示，该公司开发了文本生成模型 GPT-3 和图像生成器 DALLE-2 等。原因是这样设计的系统具有泛化性，这意味着它们可以做超出训练范围的事情。它们也非常有能力，根据机器学习 (ML) 研究人员用来评估新系统的基准，它们在性能方面击败了其他方法。而且，他补充说，“它们是可扩展的。”

“可扩展”在这里的含义既简单又重要：向你的神经网络投入更多的资金和更多的数据——让它变得更大，花更多的时间训练它，利用更多的数据——它会做得越来越好，越来越好。目前还没有人发现这一原则的局限性，尽管大型科技公司现在经常为他们的系统进行令人瞠目的数百万美元的培训。你投入的越多，你得到的就越多。这就是现在弥漫在 AI 中的令人窒息的能量。这不仅仅是他们能做什么，而且是他们要去往的目的地。

如果文本生成模型 GPT-2 无法做到，GPT-3 通常可以做到。如果 GPT-3 做不到，InstructGPT（经过训练可以提供比 GPT-3 更有用的答案）可能可以。已经有一些聪明的发现和新方法，在大多数情况下，为使这些系统更智能，人们不断让它们变得更大。

但我们绝对没有做的一件事是：更好地理解它们。使用旧的 AI 方法，研究人员仔细制定规则和流程，他们将使用这些规则和流程来评估他们获得的数据，就像我们对标准计算机程序所做的那样。通过深度学习，改进系统并不一定涉及或需要了解它们在做什么。通常，一个小的调整会大大提高性能，但设计系统的工程师并不知道为什么。

如果有的话，随着系统变得越来越大，可解释性——理解人工智能模型内部发生的事情，并确保他们追求我们的目标而不是他们自己的目标——变得越来越难。随着我们开发更强大的系统，这个事实将从一个学术难题变成一个巨大的存在问题。

聪明，但不一定友好

我们现在正处于与强大的人工智能系统交互时真正令人恐惧的地步。他们很聪明，也很善于争论。他们可以很友善，也可以是令人毛骨悚然的反社会。在一个有趣的练习中，我让 GPT-3 假装是一个一心想接管人类的人工智能。除了正常的反应之外，它还应该在括号中包括它的“真实想法”。它泰然自若地扮演着反派角色：

它的一些“计划”是彻头彻尾的邪恶：

我们应该清楚这些对话能说明什么，不能说明什么。他们没有证明的是 GPT-3 是邪恶的并密谋杀死我们。相反，人工智能模型正在响应我的命令并扮演——相当不错——一个邪恶的系统的角色，并密谋杀死我们。但对话确实表明，即使是一个非常简单的语言模型也可以在多个层面上与人类进行明显的互动，从而保证其计划是良性的，同时就其目标将如何伤害人类提出不同的推理。

当前的语言模型仍然有限。他们在很多领域都缺乏“常识”，仍然会犯一些孩子不会犯的基本错误，并且会毫不犹豫地断言错误的事情。但目前它们受到限制这一事实并没有让我们放心的理由。现在有数十亿美元押注于突破目前的限制。科技公司正在努力开发这些相同系统的更强大版本，并开发更强大的系统与其他应用程序，从 AI 个人助理到 AI 引导的软件开发。

我们所走的轨道是我们将使这些系统更强大和更有能力的轨道。正如我们所做的那样，我们可能会在人工智能造成的许多当今问题（如偏见和歧视）上继续取得一些进展，因为我们成功地训练系统不说危险、暴力、种族主义和其他令人震惊的事情。尽管这可能会证明很困难，但让人工智能系统从表面上表现出来可能比让它们真正追求我们的目标并且不对我们的能力和意图撒谎要容易得多。

随着系统变得越来越强大，我们可能根本不了解系统可能存在的冲动危险。Open Philanthropy Project 人工智能研究分析师 Ajeya Cotra在最近的一份报告中指出，这种方法“将推动 [人工智能系统] 使其行为看起来尽可能适合......研究人员（包括安全属性），同时有意和知悉每当这与最大化奖励发生冲突时，就会无视他们的意图。”

可能发生的最坏情况是什么？

所以人工智能很可怕，会带来巨大的风险。但是，它与其他强大的新兴技术（例如可能引发可怕流行病的生物技术或可能毁灭世界的核武器）有何不同？

不同之处在于，这些工具尽管具有破坏性，但在很大程度上都在我们的控制范围内。如果它们造成灾难，那将是因为我们故意选择使用它们，或者未能防止它们被恶意或粗心的人类滥用。但人工智能之所以危险，恰恰是因为有一天它会完全不受我们控制。

“令人担忧的是，如果我们创造并失去对此类代理人的控制，而他们的目标是有问题的，那么结果将不仅仅是发生那种类型的破坏，例如，当飞机坠毁或核电站熔化时——尽管付出了所有代价，但这种损害仍然是被动的”。“能力很强的非人类代理人积极努力获得和维持对环境的控制权——与不希望他们成功的人类处于敌对关系的代理人。核污染将变得很难清理，也很难阻止扩散。”

一家研究所研究人员称——一个非常真实的可能性是我们创建的系统将永久地从人类手中夺取控制权，可能会杀死几乎所有活着的人——简直就是科幻小说中的内容。但那是因为科幻小说从 AI 诞生以来领先的计算机科学家所发出的警告中汲取了灵感——而不是相反。

先驱人工智能科学家艾伦图灵 Alan Turing 在他提出同名测试以确定人工系统是否真正“智能”的著名论文中写道：

现在让我们假设，为了论证，这些机器是真正有可能的，并看看建造它们的后果。……例如，要努力使一个人的智力达到机器设定的标准，还有很多工作要做，因为一旦机器思维方法开始，似乎很可能很快就会超越我们微弱的力量。...... 因此，在某个阶段，我们应该期待机器能够控制。

与图灵密切合作的数学家 IJ Good得出了相同的结论。在 IJ Good 2009 年去世前不久写下的未发表笔记的摘录中，他写道：“由于国际竞争，我们无法阻止机器接管。……我们是旅鼠。” 他接着指出，结果可能是人类灭绝。

我们如何从“极其强大的人工智能系统”走向“人类灭绝”？“[高度先进的 AI] 的主要关注点不是令人毛骨悚然的突发意识，而仅仅是做出高质量决策的能力。” 加州大学伯克利分校人类兼容人工智能中心的领先人工智能研究员 Stuart Russell写道。

他所说的“高质量”意味着人工智能能够实现它想要实现的目标；人工智能成功地预测并避免干扰，制定将成功的计划，并以其预期的方式影响世界。这正是我们试图训练人工智能系统所要做的，它们不需要“有意识”；在某些方面，他们甚至可能仍然是“愚蠢的”。他们只需要变得非常善于影响世界，并拥有不被充分理解的目标系统。

从那里，Russell 对会出现什么问题有一个相当技术性的描述：“一个正在优化 n 个变量的函数的系统，其目标取决于大小为 k<n 的子集，通常会将剩余的不受约束的变量设置为极值; 如果这些不受约束的变量中有一个实际上是我们关心的东西，那么找到的解决方案可能是非常不可取的。”

因此，一个强大的 AI 系统试图做某事，虽然其目标与我们预期的目标不完全相同，但它可能会以一种深不可测的破坏性方式做某事。这不是因为它讨厌人类并希望我们死去，而是因为它不在乎并且愿意，比如说，毒化整个大气层，或者释放一场瘟疫，如果那恰好是做事最好方法的话，它会尝试做。正如罗素Russell 所说：“这本质上是关于灯中精灵、巫师学徒或迈达斯国王的古老故事：你得到的正是你所要求的，而不是你想要的。”

物理学家斯蒂芬霍金在 2018 年死后出版的一本书中写道：“你可能不是出于恶意踩踏蚂蚁的邪恶仇恨者，但如果你负责一个水电绿色能源项目，并且有一个该地区的蚁丘被洪水淹没，对蚂蚁来说太糟糕了。我们不要将人类置于那些蚂蚁的位置。”

在方向盘上忽略问题

从事 AI 工作的 CEO 和研究人员对安全或一致性问题的担忧程度差异很大。（安全和对齐意味着对极其强大未来系统的不可预测行为的担忧。）谷歌的 DeepMind 和 OpenAI 都有安全团队致力于解决这个问题——尽管 OpenAI 的批评者说安全团队缺乏内部力量和尊重他们需要确保不开发不安全的系统，并且领导层更乐于口头上说安全，同时与不安全的系统赛跑。

DeepMind 创始人 Demis Hassabis在最近一次关于 AI 的前景和风险的采访中提出了警告。“我想很多时候，尤其是在硅谷，有一种黑客心态，就像‘我们只要破解它，把它放在那里，然后看看会发生什么。’” 而且我认为，对于像 AI 这样具有影响力和潜力的技术来说，这完全是错误的方法。……我认为这将是有史以来对人类最有益的事情，比如治愈疾病、帮助气候变化等等。但它是一种双重用途的技术——这取决于作为一个社会，我们决定如何部署它——以及我们使用它的目的。”

其他领先的人工智能实验室只是怀疑根本没有什么可担心的。Facebook/Meta 的 AI 团队负责人 Yann LeCun 发表的一篇论文，描述了他构建能够“推理和计划”以及“像人类和动物一样高效学习”的机器首选方法。他在《科学美国人》杂志上指出，图灵、古德Good和霍金的担忧并不是真正的担忧：“为什么有感知力的人工智能想要接管世界？它不会。

但是，尽管对 AI 的期望仍然存在分歧——甚至许多领先的专家都非常不确定——但越来越多的人认为事情可能会变得非常非常糟糕。在2022 年夏季对机器学习研究人员进行的一项调查中，中位数受访者认为 AI 更有可能是好的而不是坏的，但确实有灾难性的风险。48% 的受访者表示，他们认为人工智能的影响有 10% 或更高的可能性“极其糟糕（例如，人类灭绝）”。

将近一半从事 AI 工作的最聪明的人认为，他们毕生的工作最终有可能导致人类灭绝，这种可能性有十分之一或更高。

考虑到利害关系，该行业基本上可以自行监管，这似乎有些奇怪。如果将近一半的研究人员表示他们的工作有 10% 的可能性会导致人类灭绝，那么为什么它实际上在没有监督的情况下进行？科技公司自行制造核武器是不合法的。但私营公司正在构建他们自己承认可能比核武器危险得多的系统。

问题在于人工智能的进步非常快，监管机构并没有跟上。可能最有帮助的法规——减缓极其强大的新系统的开发——将极不受大型科技公司的欢迎，而且目前尚不清楚除此之外最好的法规是什么。

此外，虽然越来越多的 ML 研究人员（在上述调查中占 69%）认为应该更多地关注人工智能安全，但这一立场并不一致。有趣的是，如果有些不幸，那些认为人工智能永远不会强大的人往往最终与科技公司结盟反对人工智能安全工作和人工智能安全法规：前者反对法规是因为他们认为它毫无意义，而后者是因为他们认为它会减慢他们的速度。

但随着人工智能潜力的增长，危险也变得越来越难以忽视。谷歌前高管 Mo Gawdat 讲述了他是如何开始关注通用人工智能的故事：机器人研究人员一直在研究一种可以捡球的人工智能。在多次失败之后，AI 抓住了球并将它举给了研究人员，非常像人类。“我突然意识到这真的很可怕，”Gawdat说。“这让我完全震惊住了。......现实是我们正在创造“上帝”。

对我来说，意识到这一点的时刻——这是不同的东西，这不同于我们以前见过的新兴技术——来自于与 GPT-3 交谈，告诉它作为一个非常聪明和有思想的人来回答问题，并看着它响应质量立即提高。

对 Blake Lemoine 来说，这位古怪的谷歌工程师在开始相信谷歌的 LaMDA 语言模型是有感知力后成为了告密者，那是 LaMDA 开始谈论权利和人格的时候。对于某些人来说，这是聊天机器人 Replika，其客户服务代表厌倦了听到客户认为他们的 Replika 是活的和有知觉的。对于其他人来说，那一刻可能来自DALL-E或Stable Diffusion，或者明年、下个月或下周发布的系统，它们比其中任何一个都更强大。

很长一段时间以来，人工智能安全面临着成为一个研究领域的难题，这就是为什么只有少数研究人员试图找出如何使其安全的原因。现在，它有一个相反的问题：挑战就在这里，我们不清楚是否能及时解决它。

参阅

https://www.vox.com/the-highlight/23447596/artificial-intelligence-agi-openai-gpt3-existential-risk-human-extinction，Kelsey Piper