PatronView 的站长发布了一篇题为《A year of fighting scrapers on my 1.5 million-page website》的长文，记录了自己与爬虫搏斗一整年的经历：这个拥有 150 万页面的网站，99% 的流量来自机器人。文章在 HN 上获得 359 分、339 条评论（原文站被防护墙拦截，本文基于 HN 讨论中引用的原文段落与社区反响综合整理）。
事件还原：4000 个”访客”的午夜突袭
最典型的案例发生在 2025 年 11 月：几天之内涌来 4000 个”访客”，每个只访问恰好一个页面，跳出率 99%，最可疑的是——没有 referrer。站长指出，无 referrer 是他识别机器人的最可靠信号。更妙的是，这些爬虫只抓取他的基金页面（fund pages），而这类页面通常只有 10% 的真实访客会碰——说明爬虫的目标极其明确，是冲着特定数据来的。
一个诚实的矛盾：爬虫站长骂爬虫
文章最戏剧性的一点是作者的坦白：”是的，我网站的数据就是靠抓取公开文档得来的。所以我是个爬虫，却写了一篇抱怨爬虫的博客。我知道这听起来很讽刺。”这个自嘲在 HN 上被反复引用（qbane 直接引了这句），也让讨论免于沦为简单的道德指责，转而聚焦于一个现实问题：当抓取成本趋近于零、而内容生产的成本没有下降时，开放互联网的经济模型还成立吗？
技术分析：为什么传统的反爬手段失效
从社区讨论可以拼出完整的攻防图景：伪造 User-Agent 让”按 UA 封禁”失效；住宅代理（residential proxy）浪潮让 IP 封禁失效；数据中心 IP 封禁会误伤 VPN 用户。真实访客与爬虫的区分越来越难。HN 用户 Bender 分享了自己的日志统计：40 行 bot 日志对 2 行人类访问（其中一行还是 CSS 文件），比例约 40:1。johnorourke 推荐了 Anubis——一个基于”工作量证明”（proof-of-work）的方案，用计算挑战区分真实浏览器与脚本，据称在无法按国家封锁的全球站点上效果显著。作者本人在 Cloudflare 的 AI Labyrinth（为 AI 爬虫生成假页面）等机制上也有尝试。
社区反响：开放网络的黄昏？
讨论中弥漫着一种末日感。dzonga 预言：”网络将变成一堆私有围墙花园，大多数站点设置 noindex，你只能通过真人转介发现它们。”ddxv 表示自己处境相同——Cloudflare 显示近百万”独立访客”，真实用户每天只有几十个，但他选择继续开放。storus 则问出了一个现实问题：”月付 5 美元的 VPS 还扛得住吗？”也有建设性的声音：andai 认为问题本质是”想被 Google 收录、又不想被所有人搬空”的矛盾，提议用 P2P 网络让数据只下载一次、然后共享——一个理想主义但引人深思的方向。
原文：patronview.com ｜ HN 讨论：news.ycombinator.com/item?id=49211386