最近Google爬虫发疯了cherbim3年前发布840从上周开始。疯狂爬行网站2+2完全顶不住。直接爆。甚至用上了独服还是爆。最近两天很多人都遇到爬虫太厉害这个问题，看来不是我一个人Google这种大企业。ip多如牛毛。cc策略不管用最后封ip解决了问题。66.249.x.x，还有些段爬得没那么厉害暂时没管。不同段ip太多还有个185.191.x.x，签名不是Google的。似乎也是一个搜索引擎有被爬虫困扰的大佬可以把这两个段拉黑
没有回复内容