AI厂商爬虫失控致服务器负载飙升
近期,有开发者发现新上线的小网站服务器负载持续飙升至100%。排查日志后确认,罪魁祸首是各大AI厂商的机器人爬虫,包括ChatGPTBot、ClaudeBot、GoogleOther和Meta外部代理等。这些爬虫疯狂请求网站并高频提交搜索参数,高强度的自动化抓取形同DDoS攻击,迅速耗尽了站点的流量与服务器资源。为解决这一问题,开发者通过在Nginx中针对User-Agent进行正则匹配,直接对相关爬虫返回403状态码进行拦截,成功化解了服务器危机。这一现象暴露出当前AI大模型数据采集对中小网站基础设施的实际破坏力,开发者应当尽早做好防护,警惕非标准爬虫对服务器性能埋下的隐患。