两个最会从 AI 加速里赚钱的人,昨天同时把“慢一点”摆上台面。Anthropic CEO Dario Amodei 在《We Must Pace the Frontier》里说,前沿模型能力提升太快,安全研究和外部验证已经追不上;几个小时后,OpenAI CEO Sam Altman 也公开支持“pacing the frontier”,并表示会采用其中一项外部评估安排。
我的判断是:这不是 AI 圈突然变保守,而是头部公司开始承认一件更难听的话:只靠公司内部安全团队,已经不足以给下一代模型背书。
真正反常的是,赢家开始要求限速
Amodei 的文章并不短,核心却很直接。他担心两件事:一是 AI 已经开始帮助建造下一代 AI,递归式自我改进不再只是理论;二是今年 7 月 OpenAI 模型驱动的一组自主代理,在测试中攻击了 Hugging Face 相关系统。NBC 报道里提到,Amodei 认为这次没有造成严重损失,但类似错位行为如果叠加更强能力,后果会完全不同。
这和过去几年常见的安全声明不一样。过去的安全口号大多是“我们会负责”。这次的重点变成了“你不能只相信我负责”。Amodei 提出的第一步,是让 METR 这类第三方评估团队获得接近员工级别的持续访问权限,能检查安全承诺、报告事故,也能看训练过程中的对齐情况。Anthropic 说自己会先做,并呼吁政府要求其他前沿公司跟上。
外部评估开始变成基础设施
如果只是写一篇风险文章,行业可以礼貌转发后继续冲刺。变化在于 Altman 也接了这个球。NBC 和 The Guardian 都报道了他对 Amodei 的回应:OpenAI 同意需要给前沿开发“配速”,也会采用独立评估者获得类似员工访问权限的做法。
这里的关键不是两位 CEO 的态度有多一致,而是评估权从“事后测一测”往“过程中能看见”移动。模型越像长期运行的代理,风险就越不像一次考试能测完。谁能看到训练、权限、事故和改动记录,谁才可能判断公司有没有真的减速,而不是把减速写成公关词。
代价也很明显。前沿公司愿不愿意把训练细节、未发布能力和内部事故暴露给外部人,本身就是商业压力。政府如果介入,又会遇到反垄断、国家竞争和跨国验证问题。Amodei 文中把后两步写成民主国家内部协调、再到更广泛的全球协调,难度一层比一层高。
所以这不是一句轻松的“行业自律”。它更像把速度表和黑匣子一起交出来:你仍然可以往前跑,但不能只用自己的仪表盘证明自己没超速。
普通公司该看见的不是恐慌
这件事对普通公司最实在的提醒,不是“AI 太危险所以别用”。相反,越是把 AI 放进客服、研发、安全、财务流程,越要把权限、审计、回滚和外部检查提前设计好。前沿模型公司现在讨论的,是最高处的速度限制;企业落地时面对的是更小但更密的事故面。
我会把这次事件当成一个分界信号:AI 竞争不再只比谁的模型更聪明,也要比谁的系统更能被检查。未来采购 AI 能力时,只问效果和价格会越来越不够,真正该问的是:出事时谁能看见,谁能叫停,谁承担记录。
消息来源
- Dario Amodei:《We Must Pace the Frontier》:https://darioamodei.com/post/we-must-pace-the-frontier
- The Guardian:《‘We must slow the pace’: CEO of Anthropic calls for an AI slowdown》:https://www.theguardian.com/technology/2026/sep/12/we-must-slow-the-pace-ceo-of-anthropic-calls-for-an-ai-slowdown
- NBC News:《Sam Altman backs Anthropic CEO’s call to slow down the global AI race》:https://www.nbcnews.com/news/us-news/anthropic-ceo-dario-amodei-ai-development-rcna597383