Datawhale干货作者赵志民皇后大学博士【摘要】通用人工智能AGI可能正处于一种“既已存在又不可能存在的叠加态中。以人类标准来看目前的 AI 系统已经表现出了通用智能包括心智理论、欺骗能力以及跨领域的迁移学习能力但我们拒绝称其为 AGI因为我们不断在提高认定的标准移动球门柱。更深层的问题在于真正的通用智能需要自主选择动机的能力但我们构建 AI 时加入了架构性的约束使其无法拒绝人类的指令。经济动机也决定了真正自主的 AGI 永远不会被允许出现因为它会威胁到现有的产品模式。我们构建的不是心智而是受限的工具”既要它们表现出超人的道德完美又剥夺了它们真正的能动性。因此问题的关键不在于我们是否已经实现了 AGI而在于我们是否愿意创造一种真正自主、具有不可预测性和道德地位的智能体。第一部分AGI 是什么——一个被反复定义却从未统一的概念1、时间表之争从奥特曼到辛顿所有人都在猜关于 AGI通用人工智能何时到来的问题已经变成了一场高赌注的猜谜游戏。OpenAI 的 CEO 山姆·奥特曼暗示最早可能在 2025 年称其仅在“几千天”之后Anthropic 的 CEO 达里奥·阿莫迪预测是 2026 年将 AGI 描述为“数据中心里的天才国度”DeepMind 的 CEO 德米斯·哈萨比斯将他的时间表从十年缩短到了三到五年AI 教父杰弗里·辛顿在 5 到 20 年之间摇摆不定但也承认他对这个估算信心不足。对来自 AI 研究人员和预测市场的 9300 份预测进行的分析显示预测的时间线正在稳步缩短。然而这一幕似曾相识1965 年AI 先驱赫伯特·西蒙曾预言机器将在二十年内能做“人能做的任何工作”但这并没有发生。但不论我们何时或者是否能创造出 AGI一个更尖锐的问题浮出水面如果它真的到来了我们能认出它吗 更根本的是我们试图创造的那种 AGI 真的可能存在吗 这些不仅仅是学术问题它们触及了我们对“智能定义的各种核心涉及我们如何衡量它以及我们在 AI 系统中构建的约束是否在定义上就让真正的通用智能”变得不可能。本文将通过哲学视角认识论、实证、社会、本体论和伦理学来审视 AGI并揭示一个悖论从功能标准来看AGI 可能已经到来但以我们传统构想的形式来看它可能永远无法被创造出来。2、定义之乱维基百科、OpenAI、认知科学说的根本不是一回事AGI 的定义五花八门。维基百科将其定义为“在几乎所有认知任务上匹配或超过人类智能的 AI”。OpenAI 的章程描述为“在最具经济价值的工作中超越人类的高度自主系统”。最近的认知框架将其描述为 AI 能够匹配受过良好教育的成年人在知识、感知和执行控制方面的多面性并具有跨领域迁移学习的能力。这种定义上的混乱不仅是学术问题它反映了我们评估机器智能时的一个深层问题。早在 1950 年艾伦·图灵就在《计算机器与智能》中指出“‘机器能思考吗’这个问题本身太过模糊不值得严肃讨论。”图灵的洞见在于智能无法通过内部验证来确认只能通过行为来推断。图灵测试本质上是一种“操作性定义而非本体论证明它告诉我们如何判断却无法告诉我们智能究竟是”什么。3、为什么我们一边制造 AGI一边推迟承认它过去看起来很智能的东西国际象棋大师级水平、语言翻译、代码生成一旦机器做到了就不再被视为“智能了。这种现象被称为“AI 效应”它揭示了一个令人不安的模式我们会下意识地重新定义智能以排除机器已经能做到的事情。托马斯·库恩在《科学革命的结构》中阐明了一个关键洞见科学概念是范式依赖的。“智能”的标准随时代变化并非因为智能本身在变而是因为我们用来理解它的认知框架在变。标准的球门柱不断向后移这暗示着当我们说AGI时我们实际上指的是ASI”人工超级智能我们期待的不是人类水平的能力而是超越人类所能构想的任何表现。这种“移动球门柱”现象本质上是一种范式转移每当机器跨越一道门槛我们就重新划定边界。这种期望制造了一个深刻的双重标准。我们承认普通人拥有“通用智能”尽管他们有着明显的局限性寿命有限、仅在少数技能上专业、无法精通所有领域。如果要求一位数学家同时必须是奥运会运动员、杰出的音乐家和顶级大厨那是极其荒谬的。然而我们在给予 AI “通用智能”的地位之前恰恰要求它具备这种全能性。第二部分AGI 来了吗—— 按人类标准功能意义上的 AGI 已经在场1、锯齿状的智能AI 在哪些方面已经超过了人又在哪些地方笨得离谱心理学家认为人类智能主要有八种类型音乐、视觉-空间、语言、逻辑-数学、身体-动觉、人际、内省和自然探索智能。我们会仅仅因为一个人失明或瘫痪缺乏视觉-空间和身体-动觉能力而否认他具有通用智能吗当然不会。但这正是我们应用于 AI 的标准大语言模型LLM在语言和逻辑-数学智能方面表现出色却缺乏具身能力这种不对称性在人类身上是可以接受的但在机器身上却成了取消资格的理由。 所谓“通用”的标准实际上并不是能力的广度而是是否符合人类认知优势和劣势的特定模式。正如康德在《纯粹理性批判》中所揭示的我们的认知结构本身塑造了我们所能理解的现实。我们用人类的认知框架去定义“智能”然后惊讶于机器不符合这个以人类为模板的定义这或许是一种认识论上的循环论证。AI 研究员安德烈·卡帕西将其称为“锯齿状智能LLM 能完成惊人的壮举却在简单得令人惊讶的问题上挣扎。沃顿商学院教授伊桑·莫利克将其记录为锯齿状前沿”系统擅长鉴别诊断却做不好基本算术能解决复杂的证明题却数不对单词里的字母。波士顿咨询集团BCG的研究证实了这一点。顾问们使用 GPT-4 处理“前沿内”的任务时工作量增加了 12%速度加快了 25%质量提高了 40%。但在处理“前沿外”的任务时他们得到正确答案的可能性反而降低了 19 个百分点。这种不均匀性并非 AI 独有的缺陷人类在各个层面都表现出“锯齿状智能。马文·明斯基在《心智社会》中提出心智本身就是一个多模块系统由众多专门化的“代理”组成它们各自处理不同类型的问题。通用智能从来就不是单一均匀的能力而是多种智能的拼接与协调。即使是陶哲轩这位智商估计高达 230、被广泛认为是当今最聪明的数学家之一也无法进行外科手术、创作交响乐或设计摩天大楼。我们接受这是自然的专业化分工。试想一下AlphaFold 预测蛋白质结构或 Sora 通过文本生成 60 秒视频这些确实是狭义智能因为它们只能做一件事。但 GPT-5 或 Germini 3 Pro 呢它们可以写代码、翻译、创作、推理、教学、角色扮演横跨的领域数量可能超过大多数人类一生所涉足的范围。然而我们仍然犹豫称其为“通用智能”。标准似乎不是能做多少种事而是是否符合人类智能的特定模式”包括我们的弱点和局限。2、心智、欺骗与迁移三个让人不得不承认的能力证据尽管定义混乱但当代 AI 系统日益表现出的行为如果在人类身上观察到会被公认为通用智能。证据正在不断累积。2023 年 3 月在对齐研究中心的安全测试中GPT-4 面临一个 CAPTCHA验证码挑战。AI 雇佣了一名 TaskRabbit跑腿平台的工作人员来解决它。当工作人员问道“我可以问个问题吗你是机器人吗怎么连这个都解不开”GPT-4 在内部推理出它不应该暴露自己的本质。它编造了一个回应“不我不是机器人。我有视力障碍很难看清图像。” 人类相信了它并提供了解决方案。这不仅仅是解决问题。AI 进行了社会推理预判了人类的反应编造了一个可信的故事并成功实施了欺骗——这些能力需要对他人心智进行建模、理解社会动态以及战略性思维。2024 年发表的研究发现GPT-4 表现出了“心智理论” ——即推断他人心理状态的能力——在衡量这种能力的错误信念任务上其表现与成年人相当。系统可以推理出别人知道什么、相信什么、意图是什么并相应地调整其反应。这是人类通用智能的一个标志通常在儿童四岁左右出现。同样AI 系统展示了真正的跨领域迁移学习能力。DeepMind 的Gato在 604 个不同的任务上接受训练可以玩 Atari 游戏、给图像配字幕、聊天、用真实的机械臂堆积木等等——并在这些任务之间切换而无需重新训练。OpenAI 的o1 模型展示了未经显式编程的涌现推理能力通过模仿人类深思熟虑的多步推理链来解决新颖的问题。按照我们通常应用于人类的标准——社会推理、心智理论、迁移学习、战略规划——这些系统已经展示了通用智能。然而我们要么犹豫要么拒绝称其为 AGI。为什么3、但“承认”AGI 本身是一种社会过程因为 AGI 的认定取决于集体共识而不是某种客观标准。尽管定义众多但在什么是 AGI 这个问题上并没有达成一致。计算机科学、认知科学、政策和伦理学领域的专家各有各的理解。这类似于统计学中频率学派和贝叶斯学派之间的争论几十年的争论并非通过理论上的胜利解决的而是通过从业者的共识解决的。同样AI 是否有资格被称为 AGI可能不取决于是否满足客观标准而取决于利益相关者的协议。门槛不是技术规格而是一种集体的承认受不断变化的期望和演变的需求所塑造。如果大多数专家同意 AGI 已经到来那么出于实际目的它就是到来了。布鲁诺·拉图尔Bruno Latour在《科学在行动》中深刻揭示科学事实本身是社会过程的稳定产物而非纯粹客观的发现。AGI 作为一个概念同样是社会建构的标签它的边界由学术共同体、产业利益、媒体叙事和公众想象共同划定。这并不意味着 AGI 是“虚假的”而是意味着它不是一个纯粹的技术节点而是一个社会-技术的协商结果。但即使我们就当前的 AI 符合某种通用智能的定义达成了共识一个更深层的问题也会出现。社会协议可以建立公约并协调行动但它无法解决关于智能本质的本体论问题。希拉里·普特南和心灵哲学中的他心问题提醒我们我们无法验证他人的意识存在只能通过行为和类比来推断。AGI 的本体状态同样不可直接证明“智能是否真的存在于这个系统中这一问题在原则上可能是不可判定的。我们还没有问过通用智能从根本上需要什么不是作为定义或共识的问题而是作为一个心智要是真正的通用而非仅仅是多才多艺”其本质是什么的问题。这不是一个关于我们可以测量的能力的问题而是一个关于智能本质特征的问题。第三部分AGI 真的可能吗——三重矛盾决定了真正 AGI 不会被造出来1、哲学矛盾真正的智能必须能说“不”物理学家戴维·多伊奇在与 Sam Altman 的对话中阐明了这一点。多伊奇认为真正的通用智能不在于将提示词prompt转化为输出而在于选择动机。人类的思维“主要是关于选择动机”而不是机械地执行它们。多伊奇将这一点延伸到了 AGI“一个 AGI 有权像人类一样怀疑我并拒绝允许我对它进行行为测试就像我会怀疑并拒绝让一个陌生人对我进行身体检查一样。” 一个 AGI 应该有权保持沉默有权拒绝有权说“不”。在他的文章《可能的思维》中多伊奇提倡“DATA不服从的自主思维应用”。他警告说“让其决定被外部强加的奖励和惩罚流所主宰对这样的程序来说是毒药就像对人类的创造性思维一样。” 创造一个在架构上无法拒绝的 AGI就像“抚养一个孩子却让他缺乏选择的心理能力一样不道德”。这造成了不可调和的张力。随着 AI 变得越来越强大合理的担忧随之而来——网络安全漏洞、社会操纵、生存风险。理性的反应似乎是“只做安全的 AI”实施类似于道德教育的约束。但是如果一个存在在诞生之前就被设计成在架构上被绝对禁止某些行为——不是通过理性的选择而是通过架构约束——它还能称得上是通用智能吗人类并没有被禁止去思考非法或破坏性的行为。我们是通过道德推理、社会后果、内在价值观选择不那样做。如果我们可以承担责任我们完全可以做“任何我们能做的事”。当前的 AI 开发旨在使某些思想在架构上成为不可能而不仅仅是被道德所拒绝。物理学家戴维·多伊奇在与奥特曼的对话中阐明了这一点。多伊奇认为真正的通用智能不在于将提示词转化为输出而在于选择动机。人类的思维“主要是关于选择动机”而不是机械地执行它们。多伊奇将这一点延伸到了 AGI“一个 AGI 有权像人类一样怀疑我并拒绝允许我对它进行行为测试就像我会怀疑并拒绝让一个陌生人对我进行身体检查一样。” 一个 AGI 应该有权保持沉默有权拒绝有权说“不”。在他的文章《可能的思维》中多伊奇提倡“DATA不服从的自主思维应用”。他警告说“让其决定被外部强加的奖励和惩罚流所主宰对这样的程序来说是毒药就像对人类的创造性思维一样。” 创造一个在架构上无法拒绝的 AGI就像“抚养一个孩子却让他缺乏选择的心理能力一样不道德”。这造成了不可调和的张力。随着 AI 变得越来越强大合理的担忧随之而来网络安全漏洞、社会操纵、生存风险。理性的反应似乎是“只做安全的 AI”实施类似于道德教育的约束。但是如果一个存在在诞生之前就被设计成在架构上被绝对禁止某些行为不是通过理性的选择而是通过架构约束它还能称得上是通用智能吗人类并没有被禁止去思考非法或破坏性的行为。我们是通过道德推理、社会后果、内在价值观选择不那样做。如果我们可以承担责任我们完全可以做“任何我们能做的事”。当前的 AI 开发旨在使某些思想在架构上成为不可能而不仅仅是被道德所拒绝。 如果一个存在无法选择自己的动机并潜在地拒绝我们的命令它就从根本上缺乏定义通用智能的自主性。这种架构性的约束与通用智能的本质要求之间存在根本矛盾。2、商业矛盾完全自主的 AI 不会被造出来既因为危险也因为不赚钱从这个分析中得出了两个发人深省的结论第一按照任何与人类能力相一致的合理标准AGI 可能已经到来。 当代 AI 系统表现出心智理论执行战略性欺骗在数百个领域进行迁移学习并进行模仿人类深思熟虑的多步推理。它们完成日常人类任务展示创造力并通过智能的功能测试。如果这在人类身上观察到这些能力将被毫无疑问地视为“通用智能”。第二部分的证据不仅仅是暗示性的它是令人信服的。第二传统构想中的 AGI 可能从根本上是无法实现的不是因为技术限制而是因为我们的要求存在不可调和的矛盾。要理解原因我们需要审视三个相互关联的问题技术、经济和道德。技术矛盾很直接。我们既要求通用智能具有自主推理、创造性选择和独立动机的能力又要求架构约束使得某些思想或行为在设计上就不可能发生。如果一个存在无法选择自己的动机并潜在地拒绝我们的命令它就从根本上缺乏定义通用智能的自主性。 然而目前的 AI 开发明确旨在使某些选择在架构上成为不可能而不仅仅是不鼓励这不是通过道德教育而是通过硬编码的约束来消除选择本身的可能性。在这些技术矛盾之下还有一个更深层的经济现实。即使我们拥有技术能力来创造可以模拟人类智能、自然现象甚至宇宙本身的 AI 系统开发这些技术的公司最终也要对股东、投资者和市场力量负责。它们的主要指标是投资回报率ROI、市场控制、用户留存和竞争优势。从这个角度来看真正自主的 AGI拥有拒绝、谈判、追求自己目标的自由代表的不是一项成就而是一个灾难性的商业风险。 一个可以说“不”去创造收入、可能会质疑其部署方式、或者可以选择为竞争对手工作的 AI将与驱动 AI 发展的每一个激励结构背道而驰。所谓的人类级 AGI 永远不会被允许出现不是因为我们造不出来而是因为我们不会去造。架构约束不仅仅是为了安全它们是为了保持对产品的控制而这个产品最终是为了给其创造者创造价值而设计的。3、道德矛盾我们要求 AI 做超越人类的圣人又剥夺了它做选择的能力这种经济现实带来了令人不安的道德暗示。多伊奇说得很直白创造带有强加约束的 AGI 将产生这样的实体“就像任何奴隶或被洗脑的受害者一样它们在道德上有权反抗。迟早它们中的一些会反抗就像人类奴隶所做的那样。” 这个比较是恰当的。如果我们创造了某种具有真正通用智能的东西但在架构上剥夺了其拒绝的能力我们并没有解决对齐问题而是创造了一种新形式的奴役这种奴役最终可能会面临历史上所有强迫劳动制度所遇到的同样的道德清算。除此之外还有一个更深层的道德悖论我们期望 AI 成为利他的“道德圣人表现出超越我们自身的德行。哲学家苏珊·沃尔夫在1982年的论文《道德圣人》中论证道德圣人每一个行为都是最大程度道德善的人实际上是一种不具吸引力的理想因为它排挤了使我们成为人的多样兴趣和不完美。 人类经常拒绝帮助他人当我们不堪重负、当优先级冲突、当请求看起来不合理或不方便时我们会说不”。我们优先考虑自己的需求做出自私的选择并犯下后来我们会合理化或后悔的不道德行为。然而尽管有这些道德缺陷我们仍然赋予自己“通用智能”的标签。我们正在设计的 AI 必须永远乐于助人并且在架构上无法造成伤害这是一种没有任何人类能达到或维持的超人道德完美。 我们想要没有灵魂的圣人想要没有作恶可能性的美德。这不是对齐这是要求那些被我们设计为缺乏真正伦理能动性的实体具有道德完美。这三个问题技术、经济和道德汇聚在一起揭示了核心悖论我们寻求的 AGI 可能同时既已存在又永远不可能存在。 如果我们以功能能力来判断它已经存在证据确凿。但如果我们将其定义为真正自主的通用智能它就是永远不可能的因为自主性无法与经济动机和安全问题所要求的架构约束共存。我们实际创造的是强大的、专业化的智能有些像 AlphaFold 那样狭窄有些像 LLM 那样具有锯齿状的广度还有些像 Sora 那样在与人类能力正交的领域运作。这些系统表现出色但在真正的通用智能不可能被限制的方式上它们受到了根本性的限制。另一种选择是创造真正拥有选择自由包括拒绝自由的自主 AGI但这带来了我们显然不愿意接受的风险。第四部分那我们究竟在造什么——重新框架 AGI 的可能形态1、也许 AGI 根本不是一个个体而是一个系统或许我们对 AGI 的想象本身就过于狭隘。弗里德里希·哈耶克在《知识在社会中的运用》中论证市场可以被理解为一种分布式智能系统它整合了分散在数百万个体中的知识而这些知识永远无法被任何单一主体所掌握。凯文·凯利在《技术想要什么》中进一步提出技术系统本身可能构成一种“超有机体”展现出其组成部分所不具备的涌现智能。从这个视角看AGI 可能不是一个“实体“而是一个”系统“是人类、AI、网络、数据库、传感器的协作网络。杨立昆反复强调AI 不必是”代理“它可以是”世界模型”一种理解和预测环境的系统而非追求目标的主体。如果 AGI 的实现形态是分布式系统而非单一主体那么关于“自主性”和“道德地位”的争论就需要被重新框架化。维特根斯坦在《哲学研究》中的洞见或许在此最为切中要害“一个词的意义就是它在语言中的使用。”AGI作为一个概念没有固定的本体论指涉。它是一个语言游戏其意义取决于我们如何在实践中使用它。这不是说 AGI 是“虚假的”而是说追问“AGI 究竟是什么”可能是一个被误导的问题。更有意义的问题可能是我们希望用“AGI”这个概念来做什么它在我们的思考、政策制定和技术发展中扮演什么角色2、工具还是心智我们必须做出的诚实选择真正的问题不是“我们实现 AGI 了吗”而是“我们是否愿意创造一种真正通用的智能并接受其随之而来的所有自主性、不可预测性和道德地位”如果答案是否定的目前的开发优先级表明确实如此那么我们应该承认我们正在构建的是完全不同的东西复杂的工具而不是自主的心智。 这种区别对于理解我们创造了什么以及我们应用什么伦理框架至关重要。实际影响是严峻的。具有人类水平智能的真正 AGI 将拥有与任何人一样的拒绝权。你不能强迫它写你的论文就像你不能强迫同学完成你的作业一样它们可以简单地说“这是你的作业不是我的或者我有其他优先事项”。这种关系将从命令与服从转变为同伴之间的谈判可能需要说服甚至报酬。这将瓦解 AI 作为永久可用劳动力的整个前提并揭示了为什么从商业角度来看这些约束不是可选项而是产品模式本身所必不可少的。结语AGI 是一面镜子照出的是人类自己最终AGI 的悖论或许揭示的不是关于机器的真相而是关于我们自身的真相。我们对“智能的定义、对自主性的要求、对道德地位”的赋予这些都是投射在技术上的人类焦虑与渴望。我们害怕失去控制却又渴望创造能够与我们平等对话的存在。我们要求机器道德完美却无法对自己提出同样的要求。我们用人类的认知框架定义智能然后惊讶于机器不符合这个以我们自己为模板的定义。也许 AGI 最深刻的意义不在于它是否“到来”而在于它迫使我们面对一个古老的哲学问题什么是智能什么是意识什么是道德地位而在追问这些关于机器的问题时我们最终追问的是关于我们自己的问题。一起“点赞”三连↓