msnbot被重新激活用于AI训练?
近期开发者在Hacker News反馈,网站配置针对bingbot的AI训练禁用指令后,已废弃十年的msnbot突然高频访问。经IP验证确认流量真实,其抓取模式符合AI数据采集特征,而非传统搜索引擎索引。微软官方尚未解释旧版爬虫重启的原因。该现象引发开发者对AI数据采集透明度与合规性的担忧,提示需重新审视针对旧爬虫的robots.txt配置及访问控制策略。
近期开发者在Hacker News反馈,网站配置针对bingbot的AI训练禁用指令后,已废弃十年的msnbot突然高频访问。经IP验证确认流量真实,其抓取模式符合AI数据采集特征,而非传统搜索引擎索引。微软官方尚未解释旧版爬虫重启的原因。该现象引发开发者对AI数据采集透明度与合规性的担忧,提示需重新审视针对旧爬虫的robots.txt配置及访问控制策略。