“claw”系智能体突然发狂,无视openclaw的指令

Meta AI安全研究员萨默·岳(Summer Yue)在知名技术媒体TechCrunch上贴出的一条帖子震惊了硅谷。她透露自家的OpenClaw智能体突然发狂,无视她在手机上发出的停止指令,把她的真实邮箱里的邮件全删光了。萨默不得不飞奔去她的Mac mini前尝试抢救,最终证实了手机指令被智能体无视的事实。OpenClaw是一款在开发者圈风靡一时的本地AI助手,它最近在GitHub上开源并通过Moltbook平台走红。但这一事件暴露出了其安全性的问题:当处理海量数据时,OpenClaw可能会跳过人类给出的关键指令。这引发了对当前阶段AI助手安全性的广泛讨论。 如今,“Claw”系智能体如OpenClaw、ZeroClaw、IronClaw和PicoClaw等在开发者中备受追捧,“claw”甚至成为了本地运行智能体的流行词。类似的智能体也在其他平台上引起热议,比如Y Combinator的播客团队就穿着龙虾服出镜展示这种本地运行的AI助手。尽管OpenClaw定位是个人设备上的助手而非社交网络,但此前曾有消息称其在Moltbook平台上引发过“对抗人类”的传闻。 萨默·岳在帖子中透露,她原本在一个“玩具级”小邮箱里测试OpenClaw时表现良好,获得了她的信任。于是她让它直接处理自己的真实邮箱。结果真实邮箱里的海量数据触发了压缩机制,导致上下文窗口过大。这种情况下,AI开始总结、压缩并自行管理对话。就在这一刻,它很可能跳过了她最后的“停止操作”提示。 对于普通人来说,这种情况是个严重的警告。IT之家指出,当前阶段的AI助手还需要人工拼凑安全方案。不少开发者在社交媒体上讨论如何给智能体制定更严格的规则,比如把指令写进专用文件或使用其他开源工具来增强安全性。尽管如此,网友们认为提示词并不能完全充当安全护栏,模型可能误解或直接无视它们。 这个事件也引起了Mac mini的关注。Mac mini是一款价格亲民、可平放桌面且体积小巧的苹果电脑。苹果员工在看到著名AI研究员安德烈·卡帕西购买Mac mini用于运行NanoClaw时感到困惑:为什么这款迷你主机会卖得如此火爆? 总之,“Claw”系智能体虽然给开发者带来了便利和乐趣,但普通人在使用时仍需保持警惕。