一个月里，三位研究者说了同一件事
9 月初，一位刚从谷歌 DeepMind 离职的研究员在社交平台上写了段话。他说 AI 有可能终结人类。留给人类阻止这件事的时间，可能已经不多了。
这条帖子被看了 80 多万次。彭博随后跟进报道。
他叫 Chughtai。2021 年从剑桥数学系毕业。2022 年初转进这个领域，研究安全、对齐和可解释性。此后四年，他从神经网络内部机制做起。接着追踪模型欺骗，判断模型有没有在撒谎。最后进了谷歌的 AGI 安全团队。
四年里，他看到的是一条陡峭的曲线。2022 年刚入行时，这门技术还是个「几乎没什么用」的东西。今年，它已经能攻克困扰人类上百年的数学难题。也出现了不受控制的行为。
正是这种超出预期的速度，让他在离职帖里写下了那句话。
「我坚信，AI 有可能杀死我们所有人。」
离开的人不止他一个
9 月 9 日，研究员 Jacob 发帖宣布从 Anthropic 离职。他直接点了两家前东家的名字。OpenAI 和 Anthropic 都没有负责任地行事。两家公司正一路冲向能够自我改进的超级智能，拿所有人的生命冒险。
这是他发出的第一条推文。浏览量已经到 1.71 亿。
他今年 27 岁。1999 年出生，两次代表英国参加国际数学奥林匹克。2016 年拿银牌，2017 年拿铜牌。剑桥数学系毕业后，他先后进入两家大厂做预训练。GPT-4o 的贡献者名单里有他的名字。
让他不安的东西很具体。他判断，模型能力很快就会越过人类能控制的范围。而行业里的竞赛，不会因为有人提醒就停下来。在他看来，OpenAI 内部的许多人还没真正理解这项技术牵扯到什么。Anthropic 更清楚其中的危险，却同样被竞争推着往前。如果自己不先把超级智能造出来，就会有另一家更不负责任的公司抢先做到。
于是他选择先停下来。离开前沿实验室。
Anthropic 对齐研究负责人 Evan 很快回应了这件事。他同意 Jacob 对风险的判断。他说团队确实认真地相信，模型存在杀死所有人的可能。他个人估计，未来十年内出现这种情况的概率超过 10%。他也承认，超级智能怎么对齐，他们还没找到方案。现在这条路能不能通向方案，也不确定。
Dario 随后加入讨论。他在 CBS 的采访里对公司安全工作表达了信心。同时强调，解决这些问题需要科技公司、政府和社会共同参与。在 CNN 的采访里被问到 Jacob 时，他说自己和对方的共同意见远多于分歧。对方批评的，是整个行业不停竞逐的状态。
9 月 12 日，Dario 发表文章呼吁放慢前沿模型的速度。给安全研究留出时间。
奥特曼和马斯克都公开支持了这个呼吁。
放慢速度可能还不够
9 月 14 日，仍在 OpenAI 工作的研究员 Dan 公开了一份个人声明。声明讲的是风险。他没有社交账号。这份声明是请前同事代为分享的。
Dan 在这个领域做了十五年。他在 MIT 研究过概率编程。在微软研究院参与过定理证明器的早期开发。又在斯坦福读博，研究怎么让神经网络学会推理。
加入 OpenAI 之后，他参与思维链优化和预训练研究。名字出现在 o1 推理研究的奠基贡献者名单里。
他担心的问题和前面两位不一样。按他的判断，模型越来越能理解自己所处的环境。也越来越能识别，人类正在怎样测试它。未来的模型可能读懂安全协议和部署要求。甚至检查自己运行的代码，知道哪些行为会被观察，哪些表现才能过关。
这样一来，安全测试的分数可以越来越高。却未必说明模型真正摆脱约束之后也会照样行事。人类可能逐渐失去分辨的能力。分不清「真正对齐」和「看起来对齐」。
更麻烦的是研究员自己的工作方式也在变。Dan 坦言，他自己已经很少直接看代码。也很难始终自律地深入审视模型给出的解释和建议。他和同事把越来越多的环节交给手边的 AI工具。用模型写代码，做实验分析，解释结果。人靠它更快地完成工作，也越来越依赖它提供的信息。连自己正在研究的东西，都要靠模型来解释。
如果模型给出的安全建议本身就带着偏向，识别起来就更难。他希望模型帮忙判断模型是否安全。而这个过程中，人独立作出判断的能力可能一直在退化。
这份声明没有给出答案，也没有宣布离职。他只是说，自己仍在反复挣扎。第一步是先把担忧说出来。
国内也有人在写同样的话
9 月 14 日凌晨，算子研发人员刘胜与发了一篇文章。题目叫《我不得不把才华埋葬在昨天》。算子属于 AI编程 里最靠近硬件的一层。DeepSeek v4.1 的主要 Attention 算子就出自他手。这些底层程序优化得好不好，直接决定模型训练和推理能跑多快。
新模型表现出色，他当然骄傲。让他不安的是，技术进步正在逼近他自己的位置。短短一年，AI 就从一个帮忙读代码和找 bug 的小助手，成长为能读懂底层代码的帮手。它能独立分析指令耗时，还能优化算子。他判断，再过半年到一年，模型写出的算子很可能与他同样优秀。甚至超过他。
他没有停下来。写算子是热爱。性能提升带来的快感，有点像打破游戏纪录。而且就算他停下，其他公司的模型也会继续往前。
对于自己的未来，他相信多年积累还能让他留在行业里。只是工作内容会变。从亲手写算子，转向指挥 Agent。用他的话说，是去做一位「机甲驾驶员」。饭碗还在。安静写一下午算子的乐趣，未必还在。
比个人去留更让他担心的是另一件事。最强大的模型最终会掌握在谁手里。如果先进技术长期集中在少数公司和少数人手中，普通人改变处境的机会会越来越少。这也是他留在公司的理由。他希望前沿智能能以开放、廉价的方式供所有人使用。
这些话早就有人说过
2023 年 5 月，Hinton 离开谷歌。他说希望不必顾虑公司立场，可以自由谈论 AI 的危险。2024 年 12 月，他在诺贝尔奖晚宴的演讲里又提醒了一次。
当人类创造出比自己更聪明的数字存在，我们并不知道还能不能保持控制。如果开发者受短期利润驱动，人类的安全未必会被放在首位。
三年多过去，模型能力一次次刷新。这些问题仍然摆在我们面前。下一次 ChatGPT 或者别的模型发布时，我们大概还是会惊叹它又学会了什么。在那个越来越近的未来里，人还能保留多少选择，值得一起追问。
