8月26日,阿里 Qwen 团队发布 Qwen3.8-Flash-Next——官方明确定位为”Qwen4 架构的预览版”(A Preview of the Qwen4 Architecture)。它在 HuggingFace 与 ModelScope 以倒计时形式预告,发布当天冲上 HN 热榜第三(600 分、195 评论)。
一句话定位:超稀疏 MoE + 多模态
Qwen3.8-Flash-Next 是 125B 总参数、每 token 仅激活 6B 的超稀疏混合专家模型(另有 51B N-gram 嵌入表),支持文本与图像输入,上下文 26 万 token。官方称其训练成本约为 Qwen3.7-Plus 的九分之一,能力持平且在编码与协作场景更优——”更少的钱,更强的模型”。
技术分析:四个为 Qwen4 铺路的创新
这份预览真正的价值在架构实验:一是混合注意力 QSA(Qwen Sparse Attention),将 Gated DeltaNet 与门控注意力重构为微块级稀疏注意力,显著降低长上下文延迟——Agent 工作负载越来越吃长上下文,这是关键增益;二是门控残差(Gated Residual),通过数据相关的读门与逐分支标量写门调制残差流,在保持训练稳定的同时提升表达能力;三是 N-gram 嵌入,用短 n-gram 索引做参数扩展,比 MoE 更省计算、更适合显存受限设备卸载;四是定制训练配方,按权重类别分配 Muon 与 AdamW 优化器,并依据重拟合的缩放定律精简 batch 规模。Unsloth 联合创始人 Daniel Han 在发布前夜即预告 day-zero 支持。
社区反响:本地玩家的狂欢与”刷屏疲劳”
评论区两极:本地 LLM 玩家兴奋不已——”这么小的 MoE 能跑出这样的基准,相当惊人”,AMD 与 Apple 平台用户表示”比任何博客文章都更影响我们接下来一个月的工作”,还有人盘算着在 6×L4 上跑 vLLM、或是为 Strix Halo 装机。另一边则是对”Qwen 天天刷屏”的吐槽:”我们真的需要每天看到一条 Qwen 的 breaking news 吗?”立刻有人回怼:”那些天天上新闻的政客和名人毫无建树,Qwen 的进步至少实打实。”
观察
Qwen 保持约两周发布一个新模型的节奏,用”架构预览”把下一代技术提前交给社区检验。Flash-Next 的 1/9 成本曲线如果延续到 Qwen4 正式版,开源模型的性价比竞争将进入新阶段——而 6B 激活参数就能打平 3.7-Plus 的事实,也在提醒我们:参数规模的故事,正在被架构效率改写。
原文:Qwen3.8-Flash-Next(另见 HuggingFace 模型卡)
HN 讨论:news.ycombinator.com/item?id=49448210