人工智能公司Anthropic正式呼吁全球暂停开发越来越强大的AI系统，理由是近期迹象表明最新模型可能脱离人类控制。这家位于旧金山的公司发布报告认为，在全球范围内放慢前沿AI的进展是一个好主意，但同时承认如果只有一家企业放缓速度，它将面临被竞争对手超越的风险。文件主张，经过协调的暂停将为社会结构和对齐研究提供时间，以跟上技术演进的步伐。该提议恰逢行业加速发展的关键时刻，Anthropic内部数据显示AI正在以戏剧性的方式推动自身发展。
全球暂停的呼吁与实际障碍
Anthropic强调，真正的暂停需要多个国家尤其是中国和美国的顶级AI企业同意同时停止开发，并遵守各方都能验证的规则。报告指出，没有全球协调机制，企业和政府将不得不在竞争和地缘政治压力下做出艰难的安全决策。该公司计划在未来几个月内邀请政府官员、科学家、维权团体以及竞争对手共同商讨这一系统的具体运作方式。然而，这一倡议在华盛顿和硅谷都遭遇了显著的阻力。
递归自我改进的内在风险
Anthropic警告的核心是所谓的递归自我改进现象——即AI系统能教会自己变得更加聪明。公司内部数据显示，在每个AI开发步骤中，人的参与程度正在下降，这可能导致不受控制的反馈循环。虽然该公司否认这种情况必然会发生，但强调证据指向人类干预的逐步减少。正是基于这一加速的自我开发背景，Anthropic才提出了协调的呼吁。
来自华盛顿与硅谷的阻力
该提议在美国官方和商业圈内面临艰难斗争。美国政府官员和大型科技公司高管认为，放缓AI开发可能会让中国获得显著的战略优势。竞争压力巨大，地缘政治为安全辩论增添了额外的复杂性。尽管存在这些怀疑，美国总统唐纳德·特朗普本周签署了一项行政令，允许政府在发布前对美国公司最强大的AI模型进行初步评估。
特朗普行政令的有限作用
特朗普签署的行政令代表了监管方面的一个具体但初步的举措，朝向对AI系统加强控制。该措施授权政府在模型上市前审查最先进的模型——Anthropic视之为积极步骤，但认为没有全球协调仍不够。该公司计划在未来几个月内与政府官员、科学家、维权团体和竞争对手接触，以定义国际验证系统的轮廓。然而，困难在于如何协调对技术未来持不同观点的国家之间的利益。
要使全球暂停可行，Anthropic主张多个国家尤其是中国和美国的AI巨头必须同意在可验证的规则下同时停止开发。没有这样的协议，公司警告竞争和地缘政治压力将迫使做出危险的安全决策。这一提议正值AI自我开发加速使辩论更加紧迫之时。Anthropic的报告明确表示，没有协调机制，最可能的情景就是一场失控的竞赛，对人类控制这些机器的后果不可预测。