把一个大模型从”在新硬件上跑通”做到”扛住生产流量的高性能推理服务”，是一场典型的系统工程硬仗。9 月 17 日，智谱旗下的 z.ai 发布了一篇技术长文，披露了一个相当激进的实践：GLM-5.3-Flash 的全部生产推理，运行在一个由超过 10 万张国产 AI 加速卡组成的集群上，而大量优化工作并非出自人类工程师，而是由一个由 GLM-5.3 驱动的 Infra Agent 完成。
文章 15 小时内冲上 Hacker News 首页第二，收获 359 分、259 条评论——因为它触及的不只是”国产卡能不能用”，而是”AI 开始建设 AI 自己的基础设施”这条更深的线索。
核心事实
此前从未有人在如此规模上部署国产加速卡集群。团队面对的是显存容量和带宽相对受限的芯片、不成熟的生态、不完整的 kernel 支持，以及”很多本该有文档的东西只能靠猜”的现实。同时还要支持新模型架构、100 万 token 的上下文窗口和多模态请求。
最终的技术栈组合相当硬核：针对线性注意力和 LM Head 的节点内张量并行、ReplaySSM、W8A8 量化、INT8/FP8/BF16 混合精度缓存量化、Layer Split，以及 Encode-Prefill-Decode（EPD）分离式架构。这些以”计算换带宽、通信换显存”的激进优化叠加后，端到端推理性能提升约 3 倍，硬件利用率和每 token 成本达到与主流 NVIDIA GPU 相当的水平。模型以匿名身份 Ox-Alpha 上线 OpenCode 和 OpenRouter 实测，一周内成为两个平台用量最高的模型，6 天处理超过 62 万亿 token。从首次适配到生产就绪，只用了不到两周。
真正的主角：Infra Agent 与”稠密反馈”
文章最有价值的部分不是优化清单，而是方法论。团队发现，Agent 的工程效率不只取决于模型的代码和推理能力，更取决于系统能否持续提供”可归因”的反馈。端到端指标只能告诉 Agent”TTFT 上涨了 30%”，却无法说明是哪个 kernel 太慢、是 KV 传输慢还是上层调度没推进、优化在哪些输入形状下回退。
为此，他们把正确性测试、运行日志、执行 trace、运行时事件、微基准和端到端指标全部整合进 Agent 的迭代闭环，把完整的系统优化拆解成可以局部观察、局部验证的步骤。团队称之为”稠密反馈”（dense feedback）——不是喂给 Agent 尽可能多的日志，而是让每次失败都能定位到具体层级、具体原因，直接指导下一步动作。这实际上是所有 AI Agent 工程化落地的核心难题，z.ai 给了一个来自生产一线的答案。
社区反响
评论区的焦点相当分散。有人敏锐地注意到 GLM 套餐价格大涨，猜测 scaling 压力巨大；有人惊叹如果 10 万卡从光刻到内存、设计全部本土完成，那确实是了不起的成就；也有人直言”GLM 是谁？z.ai 又是谁？”，吐槽文章默认读者都认识自家产品。一条高赞评论分享了另一个视角：完整版 GLM-5.3（744B MoE、4-bit 专家、磁盘占用 434GB）可以在一台 128GB 内存的 MacBook Pro M5 Max 上运行——通过 NVMe SSD 流式加载专家权重，单盘约 2 token/s，四盘条带化可达 3.5-4 token/s 且输出逐字节一致。当然，也有评论提起此前”通过 Anthropic 模型蒸馏”的争议，为这份成绩单打上问号。
为什么值得关注
这篇文章的分量在于两个”首次”：首次公开十万级国产加速卡生产集群的完整工程细节，首次把”AI 优化 AI 基础设施”从愿景演讲落成了带数据的生产复盘。作者称之为递归自我改进（RSI）的早期形态——我们还没到那一步，但早期形态已经出现。当模型的接班人开始参与建造模型本身，工程世界的规则正在悄悄改写。
原文链接：https://z.ai/blog/glm-built-its-inference-infrastructure
HN 讨论：https://news.ycombinator.com/item?id=49737922