本地AI｜应当成为默认方案

一篇名为《Local AI needs to be the norm》（本地AI应当成为常态）的文章在 Hacker News 上引发热议，获得 1381 票和 550 条评论。

作者的核心论点是：当今开发者过于习惯在应用中嵌入云端 AI API 调用（OpenAI、Anthropic），这种懒惰正在制造一代脆弱、侵犯隐私且从根本上就有问题的软件。

“我们正在构建的应用，只要服务器宕机或信用卡过期就会停止工作。”作者写道。

问题到底出在哪？

作者直言不讳地指出：将用户数据传输到第三方 AI 提供商，从根本上改变了产品的性质。一旦这么做了，你就要面对数据留存、用户同意、审计、泄露、政府请求、模型训练等一系列问题。

同时，技术架构也大幅复杂化：一个本来简单的功能变成了分布式系统，依赖网络状况、外部供应商可用性、速率限制和账户计费。”你明明只是想做个功能，却造出了一个花钱的分布式系统。”

亲身实践：Brutalist Report 的本地AI方案

作者分享了自己的实际项目——Brutalist Report 的 iOS 客户端。该应用提供了一个AI摘要功能（阅读时生成文章摘要），但关键点在于：所有摘要完全在设备本地生成，使用 Apple 的本地模型 API。没有服务器中转，没有提示词日志，没有外部供应商，没有”我们将保存你的内容30天”的隐私声明。

本地AI的工具链已趋成熟

文章详细介绍了 Apple 生态中的本地 AI 工具。核心流程极其简洁：

• 加载系统语言模型
• 判断可用性
• 创建会话并给出提示词
• 等待模型返回结果

更值得关注的是 Apple 引入了结构化输出：开发者可以定义 Swift 结构体来声明期望的输出格式，让模型生成类型安全的数据，而不是从 Markdown 中艰难解析列表。这种模式让 AI 不再只是一个聊天框，而是应用中的一个真正子系统。

本地模型不够聪明怎么办？

作者承认本地模型确实不如云端大模型”聪明”，但反问：”大多数应用功能需要的是能写莎士比亚、解释量子力学、通过律师考试吗？”

事实上，绝大多数 AI 功能只需要做四件事：总结、分类、提取、改写。而对于这些任务，本地模型已经表现得相当出色。

“如果你把本地模型当作整个互联网的替代品，你会失望。但如果你把它当作应用中的’数据转换器’，你会奇怪为什么曾经要把这些数据送到服务器上去处理。”

结尾呼吁：

• 只在真正需要时才使用云端模型
• 把用户数据留在它应该存在的地方
• 用结构化输出让 AI 成为可预测的子系统
• 停止为了一个功能而制造分布式系统

原文：Local AI needs to be the norm · HN讨论：1381票·550评