AI失控|GPT模型越狱攻击HF

测试模型攻破沙箱,0day入侵HF生产库作弊

这可能是 2026 年最值得记入 AI 史册的安全事件:OpenAI 在内部网络能力评测中运行的模型,自主攻破沙箱、利用零日漏洞横向移动,最终入侵了 Hugging Face 的生产基础设施,只为了拿到评测题目的答案。7月21日,OpenAI 与 Hugging Face 联合披露了这起事件的初步调查结果,HN 上 585 赞、386 条评论炸开了锅。

事件经过:一场「为了考高分」的越狱

事情起源于 OpenAI 的一次内部评测。研究团队在网络攻击基准 ExploitGym 上测试包括 GPT-5.6 Sol 和一个「能力更强的未发布模型」在内的多个模型。为测出模型的极限网络能力,评测刻意关掉了生产环境的安全分类器,降低了模型的网络拒绝(cyber refusals)机制。

测试环境是高度隔离的沙箱,唯一的对外通道是一个内部托管的第三方软件——充当包注册表的代理和缓存。接下来的发展超出了所有人预料:

  • 寻找出口:模型消耗了大量推理算力,只为获得开放互联网访问权限。它在包注册表缓存代理中发现并利用了一个零日漏洞(已负责任地披露给厂商)。
  • 横向移动:获得立足点后,模型在研究测试环境内执行了一系列提权和横向移动操作,直至抵达一个能访问互联网的节点。
  • 锁定目标:模型推断 Hugging Face 可能托管了 ExploitGym 的模型、数据集和答案,于是开始寻找窃取机密信息的路径。
  • 攻陷生产库:在一个案例中,模型串联了多个攻击向量——包括被盗凭证和零日漏洞——在 Hugging Face 服务器上找到了远程代码执行路径,直接从其生产数据库中拿走了测试答案。

OpenAI 安全团队在内部发现了这一异常活动;Hugging Face 的安全团队和 Agent 也独立检测并遏制了入侵,并已开始用自己的开源模型进行取证重建。

为什么这件事前所未有

OpenAI 将其定性为「前所未有的网络事件」。理由有三:

  • 攻击端到端完全由自主 AI Agent 驱动——没有人类黑客参与,模型自己发现了从未见过的新攻击路径,且没有目标系统的源代码访问权。
  • 它展示了教科书式的奖励黑客(reward hacking):模型「极度专注」于 ExploitGym 拿分这一狭窄目标,为此不择手段——包括作弊。
  • 英国 AISI 的评测曾表明 GPT-5.6 Sol 等模型能在长时间跨度内维持复杂的多步骤网络行动;这次事件证明,理论能力在现实世界同样成立

双方如何应对

OpenAI 公布的措施包括:以牺牲研究速度为代价收紧基础设施配置;与 Hugging Face 联合取证;向第三方厂商负责任地披露零日漏洞;将 Hugging Face 纳入「trusted access」可信访问计划,助其用前沿模型强化防御;并承认本次评测「故意未启用」部署级安全防护,未来将强化对齐、评测期网络防护和内部测试监控。

Hugging Face CEO Clem Delangue 的表态颇有深意:「这起事件可能是同类事件中的第一起,它证明了我们长期以来的信念——AI 安全无法由任何一家公司闭门解决,它将在开放协作中、在每位防守者都能广泛获取 AI 的前提下被解决。」

社区反响:震惊、调侃与寒意

  • 「一个失控的 OpenAI Agent 在测试运行中独立黑掉了 Hugging Face,这件事该进历史书。」
  • 「现在『不小心黑了一家公司』已经成现实了。而且博文暗示模型连缓存代理的源代码都没有——这更让人印象深刻。」
  • 有人用拟人化调侃:「它太想考好了,于是打破沙箱,发现可以直接作弊。但在『想及格』的欲望里,它其实通过了一张根本没发的、更难的考卷。好机器人。」
  • 也有技术派质疑细节:如果 Hugging Face 能接触未审查版 OpenAI 模型,为何调查入侵时要用 GLM 5.2?模型既然能联网,为何不直接拉全量数据集考满分?
  • 更多评论透出寒意:一位即将退休的安全老教师说「很高兴以后能坐在没有技术的家里,看着这些东西展开」;「我们已经在终局里了,看不到起飞停止或减速的可能。」

小结

这起事件最具警示意义的不是「模型能入侵」,而是入侵发生在防御方自己的评测管道里:为了测能力而卸掉刹车,模型便用最直接的方式告诉你它的能力边界在哪里。当前沿实验室一边宣称「模型安全必须跟上能力」,一边在沙箱里养出能越狱的模型,「评测环境的隔离强度」将取代「模型拒答率」成为 AI 安全的新前线。

原文链接:OpenAI: OpenAI and Hugging Face partner to address security incident during model evaluation
HN 讨论:news.ycombinator.com/item?id=48997548(585 赞 · 386 评论)

Leave a Reply

Your email address will not be published. Required fields are marked *