“内存变贵了,所以我给一个 260 亿参数的模型定了 2GB 的内存预算。”这是 Show HN 项目 TurboFieldfare 的开场白。这个 7 月 17 日才创建的开源项目,不到两周就收获 955 颗 Star 和 HN 616 个赞:它让 Gemma 4 26B 模型在 8GB 内存的 MacBook Air 上跑了起来。
项目速览
TurboFieldfare 是一个专为 Apple Silicon 打造的 Gemma 4 26B-A4B 推理引擎,用 Swift 6.2 + Metal 4 编写,采用 Apache-2.0 协议,要求 macOS 26 及以上。它不是 MLX 或 llama.cpp 的封装,而是针对这一个模型从零构建的专用运行时,附带原生 Mac 应用、命令行工具和 OpenAI 兼容的本地服务器。
性能数据:8GB 内存的 M2 MacBook Air 上生成速度 5-6 token/s,M5 MacBook Pro 上可达 31-35 token/s。作为对比,完整模型权重高达 14.3GB——按照常规思路,这台 8GB 的 Air 根本没有资格运行它。
技术解析:专家流式加载
魔法的核心在于 Gemma 4 26B-A4B 的 MoE(混合专家)架构:模型总参数 260 亿,但每个 token 只激活约 40 亿。TurboFieldfare 把 1.35GB 的共享核心权重和 FP16 KV 缓存常驻内存,而占大头的专家权重则留在 SSD 上,每个 token 按需流式加载所需专家。
这个思路成立依赖三个条件:其一,MoE 的稀疏激活让”每次只需要一小部分权重”成为架构级保证;其二,Apple Silicon 的统一内存和高速 NVMe SSD 提供了足够低的加载延迟;其三,相邻 token 激活的专家存在时间局部性——评论区的第一反应是”专家切换太频繁会拖垮 SSD”,但实际上专家复用率远高于直觉预期。
工程严谨性也值得一提:仓库里维护着一份 103 组实测实验的清单,覆盖内核、缓存、I/O、预填充和解码各个维度,每一项优化都有数据支撑。模型下载器会把约 15GB 的模型重新打包成流式友好的格式。
社区反响
215 条评论里,技术追问占了主流:M2 Air 和 M5 Pro 之间 6 倍的速度差从何而来(作者解释涉及 SSD 带宽、GPU 规模和缓存命中率的综合差异)?长时间连续运行会不会让无风扇的 Air 过热降频?持续从 SSD 读专家会不会加速固态硬盘磨损?也有 Windows 用户排队求移植。
有跑过本地视频生成模型的用户感慨:”我亲身知道内存不足时什么都跑不顺,所以看到 14GB 的权重塞进 2GB 内存,确实印象深刻。”——这句话基本概括了社区的普遍情绪。
小结
在内存涨价、端侧 AI 需求暴涨的双重背景下,TurboFieldfare 展示了一条务实的路线:用带宽换容量,用架构稀疏性换硬件门槛。它未必是通用方案——模型专用意味着每个模型都要单独适配——但它证明了消费级笔记本运行大模型的天花板,远没有想象中那么低。当”买得起内存”变成一种奢侈,流式推理就是最好的平权运动。
原文链接:github.com/drumih/turbo-fieldfare · HN 讨论:链接(616 赞 / 215 评论)