HN热议:AI爬虫与机器人流量失控
近期 Hacker News 讨论显示,托管静态公开页面的开发者正遭遇严重的 AI 机器人与爬虫流量泛滥。某拥有 5 万个公开页面的网络应用开发者透露,Facebook 等爬虫在两天内对相同页面发起了超 300 万次请求,导致托管成本飙升。尽管部署了 Vercel 和 Cloudflare 拦截,但效果不佳。部分 AI 抓取工具借助住宅代理绕过限制,甚至通过自动注册账号突破 Cloudflare Turnstile 验证,强行抓取面向人类用户的公开数据。这不仅推高了服务器开销,也让开发者对网络流量的真实性产生信任危机。目前,开发者正考虑引入更严格的验证码机制来应对高级机器人的持续侵扰。