本文章主要介绍了36.99.136.*和111.7.100.*两个IP段探究,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢!

最近网站被这两个IP段频繁爬取,压力巨大。网上查询一番,这里简单谈谈。

1、首先是nslookup反查,什么也查不到,按理说这应该不是什么正规蜘蛛。

2、考虑到有不少匿名蜘蛛,像百度站长工具的robots检测,抓取xml地图的都时临时工蜘蛛,对比下测试的IP段也大概率不是匿名蜘蛛。

3、网上唯一找到的zhangu网上的信息说是匿名蜘蛛,不过抓取很奇怪,没有入口的URL也抓的到,够牛逼的。

最后的结论:全部屏蔽掉了。观察了几天,貌似对搜索引擎的抓取并无影响,并未有明显的抓取量,索引量等变化。


发布评论
IT虾米网

微信公众号号:IT虾米 (左侧二维码扫一扫)欢迎添加!

百度蜘蛛IP地址大全详解
你是第一个吃螃蟹的人
发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。