HN精选|OpenAI训练数据信任危机

退订后数据仍被用?数学家公开质疑OpenAI

一条发布在数学社区 Mathstodon 上的帖子,把 OpenAI 推上了 HN 热榜第二(594 条评论)。德累斯顿工业大学数学家 Andreas Thom 公开追问:研究者还能不能把未发表的数学成果放心地交给 OpenAI 的模型?他的结论是:至少目前,不能。

背景:三项爆破结果引发的争议

事件的导火索是数学家 Tristan Buckmaster 与 Levent Alpöge 公布的三项流体力学成果:不可压多孔介质方程(IPM)、Boussinesq 方程、以及三维不可压 Euler 方程在光滑外力下的有限时间爆破(finite-time blowup)——并附上了 Lean 形式化证明仓库。这是数学物理领域的重大进展,但随之而来的争议是:AI 在其中扮演了什么角色?模型是否接触过研究者未发表的思路?

核心事件:一句”没有发生过”的保证

Thom 的帖子回忆了此前的”非 sofic 群”事件:OpenAI 宣布其模型用 Thom 与 Gabor Kun 的方法找到了非 sofic 群。震惊之余,Thom 给 OpenAI 的 Mark Sellke 和 Sebastien Bubeck 写了邮件。他和德累斯顿的同事此前数月一直在用 ChatGPT 讨论 expander matching 问题及相关扩展——也就是后来被”解决”的那个方向。他在邮件里明确问了两个不同的问题:

  • (1)我们的对话是否进入了训练数据;
  • (2)这些对话是否对模型的解题过程可见。

Sellke 的完整答复只有一句:”Regarding your conversations with ChatGPT: that did not happen.”(关于你们与 ChatGPT 的对话:没有发生过。)

而在 Buckmaster-Alpöge 事件中,OpenAI 的说法变成了:没有访问”特定用户数据”,但”无法排除由其产品使用数据衍生的去标识化数据帮助改进了我们的模型”。Thom 指出,当年那句斩钉截铁的否认,如今看来至多只回答了问题(2)中的”直接访问”,且未附加任何限定、解释或证据。”我把这至少称作不诚实。”

关键细节:退订之后呢?

评论中有人提醒:ChatGPT 的”为所有人改进模型”开关默认开启。Thom 回复:他已于 6 月 29 日退订(opt out)。如果退订后数据仍以”去标识化”形式进入训练,OpenAI 的措辞在法律上可能站不住脚。另一位用户 hyperprompt 进一步指出技术灰色地带:即便退订,只要点过赞/踩、选择过偏好回答、或触发过任何安全过滤器,数据仍会被摄取;后端模型激活值也可以被映射利用——那”不算你的数据”,而是”重新合成的抽象”,在 GDPR 框架下甚至可能合法。

社区反响

HN 评论区观点分化。Legend2440 认为指控证据薄弱——”某人某处说自己曾和 AI 讨论过这个话题”,甚至没有声称已有证明;drivebyhooting 则看到另一面:”暂且放下署名权之争,人机协作确实在超频式地加速数学发现”;1337h4xx 的总结获得共鸣:”数学家 6 月 29 日退订训练,问 OpenAI 是否用过他的数据,被告知’没有’——但显然用了。”

启示

这件事的分量超出数学圈。对一切把未发表成果、未公开代码、未申请专利的思路喂给聊天模型的研究者而言,”训练数据是否包含我的对话”是一个无法验证的黑箱。企业的否认无法证伪,”去标识化衍生数据”的措辞又留下了近乎无限的解释空间。在透明度机制建立之前,最稳妥的策略或许是:把工作假设设为”你说的一切都可能成为训练信号”。

原文链接:Andreas Thom on Mathstodon
HN 讨论:592 points · 594 comments

Leave a Reply

Your email address will not be published. Required fields are marked *