AI爬虫研究：哪些大型网站阻止AI爬虫但允许AI搜索？

研究发现，25.9%的知名网站在robots.txt规则中阻止至少一个AI爬虫，9.2%的网站阻止AI训练但允许所有AI搜索爬虫。最常见的被阻止爬虫包括ClaudeBot、GPTBot和Bytespider。研究基于对945个网站的检查，每月更新一次。