有效利他主义与现实：OpenAI革命性的治理模式已死？

【编者按】在震惊科技界的OpenAI管理层“变天”中，对创始人山姆·奥特曼被突然解雇最普遍的说法是，一个长期存在的问题导致了管理层的分裂：奥特曼致力于将OpenAI（最初是一家非营利组织）转变为一家成功的企业，希望公司快速推出产品和吸引客户，引发了董事会成员对人工智能工具安全性的担忧。

尤其是创始人、首席科学家伊尔亚·苏茨克维（Ilya Sutskever），对安全问题的担忧越来越直言不讳，并在7月组建了一个“对齐（注：引导人工智能系统的行为使其符合设计者的利益和预期目标）”团队。消息人士透露，他和奥特曼的紧张关系在10月加剧，到了11月6日OpenAI首届开发者大会，奥特曼宣布允许任何人创建自定义的GPT，激怒了苏茨克维。

对于一家正在谈判以高达860亿美元估值出售股票的公司来说，理念上的分歧通常不会让它走向灭亡，但OpenAI不是一家普通公司。它从建立之初就不一样，随后设定的权力结构和董事会性质都不一样。

要明白OpenAI此次不寻常地震的缘由，就必须了解其历史和哲学。11月20日，知名科技博客Techtris发表文章，详细解释和梳理了OpenAI治理模式的矛盾之处，并判断：OpenAI试图向大型科技公司展示以不同于以往的方式运营，但失败了。以下为这篇文章的内容：

今年6月，山姆·奥特曼（中）和伊尔亚·苏茨克维（右）在以色列的一次活动上发言。

OpenAI是人工智能运动的时代精神企业，它在一周的时间里从表面上的胜利变成了灾难。

本周早些时候举行的大型产品演示“开发者日”表明该公司正在加速其技术的商业化和实际推广。但周五（11月17日）下午，该公司董事会宣布首席执行官山姆·奥特曼（Sam Altman）——也许是人工智能最著名的倡导者和首席执行官——将立即离职。

官方声明没有做出任何努力来掩盖这是一次开除，称董事会对奥特曼失去了信心。不同寻常的是，也几乎没有做出任何努力纳入重要的利益相关者：股东和高级管理人员完全不参与其中。

该公司现在似乎正在崩溃：高级管理人员正在离职，投资者想要答案，据报道董事会正在寻求奥特曼的回归。除非你了解OpenAI的奇怪历史、它的哲学，以及它现在如何与现实发生冲突，否则所发生的事情看起来是不可理解的。

一切都始于有效利他主义

有效利他主义（Effective Altruism）——我之前写过——最初是慈善领域的一个相对简单的想法：在最有效的地方捐款，而不是仅仅为了“温暖的光辉”而无效地捐款。

有效利他主义运动的创始人、英国哲学教授威廉·麦克阿斯基尔（William MacAskill）。

其早期逻辑是根据经验测试不同干预措施的有效性，并为那些效果最好的干预措施提供资金——这倾向于表明，将资金瞄准最贫困国家和最贫困人口，会比瞄准富裕国家取得更好的结果，驱虫或者蚊帐等干预措施特别受欢迎。

鉴于以功利主义数学为基础，该运动开始吸引来自大型科技公司的支持者，他们开始进一步推动这一逻辑。当你可以通过赚更多钱来增加捐款数额时，为什么只关注捐赠的钱呢？这种逻辑表明，如果你有能力，在对冲基金或大型科技公司工作并进行捐赠比为慈善机构工作更道德。名誉扫地的前FTX（注：全球最大加密货币交易所之一）老板山姆·班克曼-弗里德 （Sam Bankman-Fried）在倒台之前一直是这一信条的典型代表。

这个逻辑可以进一步推演：为什么我们应该只考虑今天还活着的人？如果未来的人口可能比今天多数十亿（甚至数万亿），那么针对长期的干预措施可能会比今天实施的干预措施更加有效。

这种逻辑将信奉有效利他主义的人指向两件事：星际定居（这样人类就可以在地球灭绝事件之后生存）和通用人工智能（AGI）——人工智能的超级智能版本，如果正确“对齐”，可以为人类谋福利，极大地提高我们生存的长度和质量。

对齐上的“如果”非常重要：那些寻求高度先进的AGI的人，已经看过我们其他人所看过的所有相同的人类与机器人电影，并且同样意识到人工智能可能会轻松终结人类，就像举起人一样轻松。

这就是OpenAI应该发挥作用的地方。

进入OpenAI

简而言之，OpenAI最初是作为一个真正的非营利组织成立的，其目标是推进安全AGI的引入。

这是压倒一切的优先事项，无意关注利润动机或风险资本家的巨额回报。包括埃隆·马斯克在内的资助者似乎承诺在该组织的发展过程中向该组织提供数十亿美元，因此它不需要担心支付该项目的账单。

由于各种原因——一如往常，包括性格冲突和方向差异——这种“纯粹”的非营利模式并没有持续多久，OpenAI原本以为可以从马斯克那里得到的钱也枯竭了。这使得OpenAI需要尝试吸引商业参与者的投资，他们合理地希望一家公司能够给他们带来回报。

在奥特曼领导的一系列举措中，OpenAI转向了混合结构——值得提一下，奥特曼本人是OpenAI许多非商业动机的真诚信徒。它将能够为投资者带来利润和回报，甚至有可能最终进行首次公开募股。

OpenAI的组织结构。

然而，投资者被警告说，他们应该考虑到OpenAI可能永远不会产生利润，该公司不会主要专注于实现利润，而且他们最好认为，任何投资都更接近于捐赠，而不是产生回报。

OpenAI最大的投资者（注：微软）没有在董事会中获得席位，甚至奥特曼本人也没有该公司的任何股权——这对于该行业来说几乎是闻所未闻的情况。从理论上讲，该模式将吸引志同道合的投资者，愿意接受极其不寻常的治理情况，这将有助于公司专注于其使命。

作为交换，投资者可以预期的回报规模有一个相对慷慨的上限：即他们投入的100倍。因此，投资了10亿美元的微软最多可以期望1000亿美元的回报。

这些显然是天文数字的回报，但在大型科技领域并非完全闻所未闻——因此，从本质上讲，你的投资可能会取得巨大成功，你将永远拥有其收入的可观份额，但如果公司实现了AGI，就不是那么回事了。

直到上周左右，这种模式似乎还有效。OpenAI越来越成为一个名字，而不是一个原则，因为它生成的模型早已不再默认开源，而且该公司现在运营的开源程度不如Meta的人工智能项目。

那么……出了什么问题？

什么才算有效？

情况仍然不明朗，但据我们所知，山姆·奥特曼被赶下台的核心是创始人之间的旧式纠纷。据称，OpenAI首席科学家兼联合创始人伊尔亚·苏茨克维（Ilya Sutskever）是此次罢免的幕后推手——基于对商业化与研究速度的担忧，以及是否对安全性给予足够重视。

OpenAI现在拥有一款热门产品，很多人认为它即将在不久的将来用于内容生成、呼叫中心管理等众多用途。还有多种具有类似功能的竞争对手产品。

在这里，有效利他主义的逻辑不再提供明确的答案，特别是对于那些认为强大的通用人工智能在中期内可能实现，并且在不同程度上担心其危险的人。

一组逻辑告诉你：做研究是昂贵的，如果你有钱，做昂贵的事情会容易得多。收入是独立性的最佳保证，因此OpenAI应该将其拥有的技术货币化，以便成为现在人工智能和人工智能安全辩论的主要参与者，并为真正的通用人工智能的工作提供资金。

另一组逻辑告诉你，今天的商业干扰和妥协将阻止本应继续建设未来的工作——无论这意味着更加努力、更快地专注于开发通用人工智能，还是首先停下来研究如何安全地做到这一点。

今天，任何一个人都会有反对商业化的论点——而且在有效利他主义的数学方法下，所有这3个论点都是合理的。这仅取决于你如何设定不同的不可知风险和回报。事实证明，有效利他主义并不能真正起到逃避战略决策的作用——现实中很少有真正的“正确”答案。

有效利他主义与现实

从表面上看，OpenAI董事会所做的一切完全在其权力范围内。它的章程赋予其罢免首席执行官的权力，投资者知道他们在董事会中没有席位，也不会获得席位。他们还知道已签署文件确认他们知道OpenAI不会采取行动来最大化他们的回报。投资者针对这一决定提起诉讼将很难获胜。

然而，世界实际上并不是这样运作的。你可能在纸面上拥有很大的权威，然后发现它在实践中几乎毫无意义。简单的现实是，奥特曼是大多数高级员工忠诚的人，没有什么可以阻止他在周一创办一家新的人工智能初创公司。

不像OpenAI，由于（新公司）提供了不受任何投资限制的回报选择，很明显OpenAI的几位主要支持者会愿意更换团队——他们中的几位此时已经公开表示了这一点。很明显，许多高级员工将挪窝。

OpenAI将面临所有高级团队被掏空、投资者支持同时崩溃的局面，而在这种背景下它还需要击退新的竞争对手。董事会根本没有认识到非正式的权力力量，而是过度关注正式的权力力量。

这几乎与董事会的失败一样引人注目：他们的全部目的是看到整体，而不仅仅是适合他们的部分。它也显示了有效利他主义的更广泛问题：理论上很容易将事物简化为规则、排名、文件等。当它遇到现实时就会崩溃。

接下来会发生什么谁也说不准。据报道，OpenAI董事会正试图吸引奥特曼回来——如果不对董事会进行重大治理和人事变动，他不愿意这样做，这是可以理解的。投资者不太可能愿意在没有董事会席位的情况下维持更长时间。

OpenAI目前的治理模式已经死亡——一件有意思的事情是，如果奥特曼回归，这位富有利他主义、富有同情心的CEO是否愿意容忍对自己权力的限制。最重要的是，OpenAI试图建立一家大型科技初创公司，而创始人/首席执行官并未拥有无懈可击的权力。

OpenAI正试图通过两种方式改变世界：构建安全且革命性的人工智能模型，以及向大型科技公司展示可以以不同于以往的方式运营。对于前者还没有定论，但后者的实验现在看起来非常失败。