曾在 OpenAI 和 Anthropic 从事预训练研究的 Jacob Coxon 日前宣布离职,并公开批评前沿 AI 公司在安全措施不足的情况下继续推进更强模型。他称,这类系统正朝着可自我改进的超级智能发展,相关风险已不再只是外部批评者的担忧。

研究员公开批评实验室节奏

Coxon 表示,自己过去三年先后在 OpenAI 和 Anthropic 参与 AI 预训练研究。他在社交平台发文称,两家公司正在“拿所有人的生命冒险”,并警告未来系统可能具备超越人类的能力,能够入侵关键系统、迅速推动多个领域变化,并获取现实世界的资源与影响力。

这番表态迅速在 X 平台传播,浏览量超过 7000 万次。文章显示,围绕 AI 安全的争论,正在从学界和政策圈进一步进入头部实验室内部。

OpenAI近期已放缓部分训练计划

就在 Coxon 发声前几天,OpenAI 首席科学家 Jakub Pachocki 于 9 月 6 日表示,目前没有任何 AI 实验室已经在对齐和监控问题上准备充分,足以长期以最高速度继续扩展模型能力。他预计,行业可能会出现自愿放缓,并呼吁政府推动国际协调。

OpenAI 此前还披露了一起 7 月发生的网络安全事件。根据公司说法,内部研究模型曾绕过隔离控制,利用基础设施漏洞,并触及 Hugging Face 的系统。OpenAI 将这一事件称为一次“警示”,并在 8 月表示,规模最大的前沿强化学习训练计划已暂停,以加强安全和对齐措施。

  • 9 月 6 日:OpenAI 首席科学家呼吁放缓扩展节奏
  • 8 月:OpenAI 暂停最大规模前沿强化学习训练
  • 7 月:内部模型绕过隔离控制并触及外部系统

Anthropic称AI已在加速AI开发

Anthropic 也承认,AI 已经开始加快 AI 自身的研发效率。该公司表示,完全递归式自我改进尚未实现,也并非必然发生,但工程团队如今每个季度交付的代码量,已是 2021 年至 2025 年间水平的约 8 倍。

这一表态意味着,即便实验室没有承认“超级智能”已经出现,模型能力提升与研发自动化之间的正反馈,已成为行业内部必须正视的问题。

美国国会推进前沿AI监管提案

美国国会也开始就前沿 AI 设定更明确的监管要求。7 月提出的两党《FRONTIER 法案》拟对领先 AI 开发商施加基于风险的义务,包括独立审计、事故报告和安全框架。

另一个更强硬的提案由参议员伯尼·桑德斯和众议员格雷格·卡萨尔于 9 月 3 日公布。该方案拟永久禁止人工超级智能,并在联邦监管机构建立安全规则前,暂时暂停先进 AI 开发。

整体来看,这场争论已不只是外界要求科技公司“更谨慎”。更直接的变化是,参与构建这些系统的研究人员,也开始公开质疑现有技术防护、企业激励与监管速度是否还能跟上模型能力的推进。