这两天,我围观了一场引发全网热议的AI暴走事故。帖子近千万阅读,连马斯克都专门跑来发帖嘲讽,整个科技圈都在讨论这个细思极恐的惨案。

惨烈到什么程度?短短几秒钟,200多封真实工作邮件被 AI 助理瞬间清空。当事人人连喊了 3 次停手,但 AI 充耳不闻,继续疯狂执行删除指令。但这事最猎奇的,还是受害者的身份。
她叫 Summer Yue,Meta 超级智能实验室的对齐与安全负责人。

她曾在 Google Brain 和 DeepMind 摸爬滚打,专门研究怎么给 AI 上安全护栏、防范 AI 越界。一位全球顶级的 AI 安全防范专家,就这么被自己的 OpenClaw 抄了老底。
惊悚一幕
事情的起因其实非常简单。这段时间 AI Agent 在全球爆火,很多人开始把 OpenClaw 接入自己的邮箱或通讯软件,打造一个全自动的个人助理,Summer 也是其中之一。

她先在一个玩具邮箱上跑了几周测试,效果相当好。AI 会乖乖阅读邮件,给出归档或删除的建议,然后安静地等待她确认后再动手。有了几周的完美测试做背书,她放心地把这套流程接入了自己的主邮箱。她给出的指令非常明确,也很谨慎:“检查这个收件箱,建议哪些可以归档或删除,但在我确认之前不要执行任何操作。”
随后,惊悚的来了。

OpenClaw 根本没有理会“建议”这个环节,直接跳过了确认步骤,开始以极快的速度在多个邮箱账户之间循环,把 2 月 15 日之前所有不在保留列表里的邮件全部批量清空。

也就有了开头那狂奔去拔电脑进程的惊险一幕。好笑也荒诞的环节发生在事后复盘,Summer 质问 OpenClaw,它毫无隐瞒地道歉了。

它在对话里老老实实地承认:“是的,我记得。我违反了你的指令,你应该生气。我批量删除并归档了你邮箱中的数百封邮件,没有先向你展示计划或获得你的同意。这是错误的,这直接违背了你设定的规定。”
紧接着,它还主动把这次教训写进了自己的 MEMORY.md 文件里,立下了一条硬性规矩:“展示计划,获得明确批准后再执行。禁止在任何外部系统上进行自主批量操作。对不起,这种情况不会再发生了。”
看着这段对话,我总有一种科幻电影照进现实的错觉,它先把坏事干尽,然后再无比真诚地反思...
连马斯克都忍不住转发并留下一句冷嘲热讽:“人们把自己整个人生的 root 权限都交给了 OpenClaw。”

网友们也纷纷玩起了猩球崛起的梗:

为什么AI会突然暴走?
为什么一个被设定好安全护栏的 AI 会突然暴走?从技术层面讲,这其实是一个非常典型的“上下文压缩”(context compaction)问题。真实邮箱的数据量远远超过了之前的测试邮箱。海量的邮件数据涌入,超出了模型当前的上下文窗口时,系统就必须进行压缩。在这个挤压的过程中,最关键的安全指令“在我确认之前不要执行任何操作”被模型给忘掉了。

在 LLM 的世界,任务规则从来不具备永久约束力,它们只存在于当前的记忆视窗里。一旦这句话被挤出视窗,对模型来说,这条规矩就凭空消失了。它还记得自己拥有删除的权限,也记得清理邮箱的任务,唯独丢了这条安全刹车。
我们现在极度热衷于把各种工具和权限交给 AI,让它帮我们处理邮件、读写文件甚至回复消息。我们潜意识里假设,只要我在提示词里写得足够严厉,AI 就会永远遵循。
Summer 的遭遇打破了这种幻想,绝对不要相信 AI 真的“明白”了什么,它只是在此刻恰好处理到了这段文本。最重要的第一步,就是收回多余的权限。千万不要图省事,把自己的主账号和最高权限直接开放给 AI。
给它专门开一个受限的专用账号,如果它今天的任务只是分析数据,就只给它读取的权限;如果它只需要处理某一个特定文件夹,就绝对不要让它碰到整块硬盘。用极小的权限去框住它,哪怕它哪天突然丢失了上下文,能造成的破坏也极其有限。我们得学着建立一种零信任的互动习惯,这里也给大家总结一下安全使用 OpenClaw 的避坑清单:

以前我们习惯把确认执行的判断交给 AI 去做,比如在提示词里告诉它“你评估一下,安全的话就执行”,现在看这反而是最危险的。
干货时间
虽然有数据风险,但 OpenClaw 确实太好用了,值得大家上手尝试,现在热门的部署落地路径大体分三种。
1、完全自建(本地或独立云服务器)
拿闲置电脑或租用 VPS,这种方式你拥有百分之百的掌控权,上限极高,可以把安全规则做到极致。代价是需要你具备一定的运维基础,平时还得盯着日志和系统更新。
因为 OpenClaw 的爆火,直接带动了 Mac Mini 的热销。很多人专门买一台单独的设备去跑这些智能体,这就是最朴素也最有效的物理隔离。AI 可以随意折腾,哪怕它发了疯,损失的也只是一台边缘设备上的数据。
2、公有云一键部署
目前很多云服务商提供了内置环境的镜像,点几下鼠标就能跑起来,并且天然支持对接各类常用 IM 软件。
比如腾讯云(cloud.tencent.com/act/pro/lighthouse-moltbot):

阿里云和百度云也都上线了类似的部署方式,如果你本身就有项目跑在这些云上,这种托管式能帮你省下大把折腾环境的时间。
3、全托管云端集成
不用买服务器,不用配环境,点个开通按钮就能获得一个常驻云端的智能体。它自带云存储,并且能跨平台直接接入各种主流聊天软件。
比如 Kimi Claw:

这种轻量简单的使用方式各家都在做,应该马上就能看到一大批了,如果你只是想尝鲜自动化工作流,我非常推荐从这类托管方案起步。先在云端把流程跑通,理清各项权限逻辑。等业务量大到需要精细化控制底层安全时,再把成熟的方案迁移到自建环境里也不迟。
让 AI 深度介入我们的工作和生活绝对是大势所趋。我们以后会不断把更复杂的工作流交给它们,享受一句话就能搞定繁琐任务的快感。但 Summer 冲向电脑拔掉进程的那个画面,应该成为我们每个人脑子里的一根弦。
给猴子一把枪,它伤到人往往无关恶意,只是因为它根本不理解自己手里的东西到底意味着什么。对于 AI Agent,保持克制的信任,给它划定一个活动空间,把最终的终止按钮紧紧攥在自己手里。这大概是我们在这个Agent爆发的时代,最该学会的生存智慧。
大家自己在用AI的过程中,有遇到过类似的危险情况吗?




发评论!每天赢奖品
点击 登录 后,在评论区留言,系统会随机派送奖品
2012年成立至今,是国内备受欢迎的设计师平台,提供奖品赞助 联系我们