本周Hacker News上最引人注目的争议,来自巴西里约热内卢市政府。该市的IT部门IplanRIO发布了一个名为Rio-3.5-Open-397B的”自研”大语言模型,声称拥有3970亿参数,是南半球首个自主研发的超大规模AI模型。然而,Nex-AGI团队在GitHub上发布了一份详尽的证据,指出这个模型并非原创——它只是将Nex和Qwen两个现有模型的权重进行了简单混合。
证据一:模型不知道自己是谁
Nex-AGI的研究者(@00INDEX)进行了简单而有力的测试:移除Rio模型的系统提示词后,询问”你是谁?”。结果显示,模型在79%的情况下回答自己是”Nex,来自Nex-AGI”,而回答”Rio”的比例为0%。更令人震惊的是,模型完整背诵了Nex-AGI团队为其模型编写的背景故事——逐字逐句,一字不差。
这意味着Rio团队甚至没有对模型进行最基本的微调来修改其”身份认知”。所谓”训练了一个397B模型”,实际上可能只是运行了一个权重合并脚本——这在技术社区通常被称为”model merging”,而非”model training”。
证据二:权重分析铁证如山
第二项证据更加技术化且无可辩驳:对Rio模型的每一层、每一个组件的权重张量进行分析后发现,所有60层的权重都可以被精确地表达为Nex权重×0.6 + Qwen权重×0.4的线性组合——偏差达到了数千个标准差之外。这种精确的数学对应关系不可能在独立训练中偶然出现。
相比之下,即使是同一架构的不同微调模型,其权重之间的插值也无法达到这种精度。这种”element-wise merge”的操作,在有合适工具的情况下,只需几分钟即可在单张GPU上完成——与训练一个397B模型所需的数百万美元计算资源形成鲜明对比。
深层问题:政府AI的透明度危机
这场争议触及了更深层次的问题:当政府机构宣称”自主研发”AI技术时,公众如何验证其真实性?里约市政府曾将Rio模型作为其数字化转型的旗舰项目进行宣传,投入了公共资金。如果所谓的”训练”只是模型混合,那么资金的实际去向和技术的真实水平都值得追问。
HN社区的讨论广泛涉及了开源模型生态中的归属伦理问题。多位评论者指出,模型混合(merge)本身是合法的技术实践——许多优秀的开源模型都来自社区成员的混合优化。但关键在于透明性:混合模型应当明确标注来源和混合比例,而非宣称”自主研发”。
GitHub Issue: nex-agi/Nex-N2#4 | HN讨论: Hacker News (139 comments)