背景:67 美分、1.5 小时,44% 的 ARC-AGI-1
ARC-AGI 被誉为衡量 AI 抽象推理能力的”圣杯”基准:题目对人类极易,对 AI 极难,且刻意设计为无法靠数据量碾压。9月1日,印度 IIT Bombay 物理系毕业生 Mithil Vakde 发布了他 ARC 系列研究的第三篇博客:一个从零开始训练的小型 Transformer,在一张 RTX 5090 上跑了 1.5 小时、花费仅 0.67 美元,就在 ARC-AGI-1 公开评测集上拿到 44%——与 TRM/HRM 持平,超过许多大语言模型,还在 ARC-2 上拿到 7%。代码完全开源。
他的上一版结果曾在 X 上病毒式传播,引来 Jeremy Howard、Lucas Beyer、Rohan Anil 等顶级研究者的讨论与质疑。这一次,分数更高、速度更快、成本更低。
核心观点:样本效率才是 AI 最重要的问题
Vakde 的研究动机很明确:他认为样本效率(sample efficiency)是当今 AI 最重要的问题。这项工作要回答两个问题:第一,限定在 Transformer 与现有深度学习方法的框架内,样本效率的极限在哪里?第二,如何把实验成本压到让世界上任何人都能参与迭代?
ARC 是理想的试金石:仅 1000 道训练谜题的高维空间;作为元学习基准,每道题规则不同但共享概念;评测所需的所有概念都在训练集中出现;基准远未饱和(在数据效率语境下,不考虑使用海量合成数据或人工归纳偏置的方法)。
技术方法:测试时从零训练的元学习
方法骨架延续上一版:每个输入-输出对转为 token 序列,一个小型 Transformer 在测试时从零开始,同时在训练集与评测集谜题上自回归训练(评测标签隐藏)。跨任务学习靠每道题一个可学习的加性 embedding 实现;位置编码采用 3D RoPE;训练时用颜色与二面体群变换做数据增强;推理时对测试输入做同样增强再逆变换,提交两个最高频输出(AAIVR)。
本版的关键升级:现代化架构(SwiGLU 替代 GELU、RMSNorm 替代 LayerNorm);层数从 4 加到 8;数据多样性与打乱策略改进;优化器从 AdamW 换成 NorMuon;训练用 flash attention 变长序列,推理用 flex attention。成本大降的主因之一是大幅减少增强数量——更多样本效率,更少算力浪费。
最值得玩味的改动:他不再在输入 token 上计算损失,损失只覆盖输出 token(变成纯监督)。这一改动把分数从 40% 推到 44%,但他自己也不明白为什么。更反直觉的是:测试损失变差了,分数却更高、更稳、方差更小。这对”以验证损失最低为目标”的小数据训练范式是一个公开的警示。
消融实验与开放挑战
消融结果清晰指出了性能来源:3D RoPE 与每题 embedding 是核心——去掉任何一个,分数直接跌到 24-25%;换回 1D RoPE 也是 24%;按 CompressARC 风格每题独立从零训练(无监督)只剩 18%。数据方面,他精心过滤掉 ARC-2 中与 ARC-1 重复的 773 题后加入了非重叠部分(无泄漏);即使去掉这些额外数据,分数仍在 40% 左右,只是算力翻倍。
作者放出豪言:65% 在 Transformer 框架内可达——证据是多次运行取已解谜题的并集已达 55%,还有一批题”几乎做对”。他给出的改进清单包括:用 PoPE 替代 RoPE、进一步现代化架构、手写 GPU 代码再砍 10 倍成本、彻底移除数据增强(“我讨厌我用了它”)。
社区反响与争议
552 分、148 条评论。质疑集中在两点:一是”只跑一个基准是不是过拟合(benchmaxxing)”;二是”训练时用了评测谜题的输入算不算作弊”。后者作者在附录中逐条回应:ARC 是元学习基准,从评测谜题中学习本来就是题中之义;标签从未参与训练;利用评测输入属于直推式推理(transductive reasoning),自 Vapnik 时代就有研究。他还顺手回敬了一句让评论区炸锅的话:”我不明白为什么别人没做出来——这只是一个 Transformer 加最显然的表示。这个基准开放了 6 年,挂着百万美元奖金。”
无论立场如何,这项工作的方向意义已经被认可:当 LLM 靠合成数据与后训练刷分越来越贵,一个人、一张消费级显卡、不到一美元,就能在同一基准上与顶尖方法战平——这本身就是对”规模即一切”叙事的一记修正。
原文链接:44% on ARC-AGI-1 in 67 cents
HN 讨论:news.ycombinator.com/item?id=49519939(552 分 / 148 评论)