兴泰网认为单纯的通过UA去判断百度蜘蛛是有BUG的
最近有人问我，说220和116的蜘蛛不是兴泰网的真蜘蛛，因为他nslookup的时候，并没有出现“baidu”类的字样、反而出现了别的字样，所以他感觉不真，而同样的ip，我本地用windows电脑nslookup的确实可以出现“baidu”类的字样，如下图：
后面我去了公司，接上公司的路由器，发现再使用nslookup的时候、也不显示上图了，后面通过摸索，大概明白了不显示的原因，是路由器或是网关拦截，导致了不显示，消除了大家的误会!
一般来讲，像220和116开头的蜘蛛为百度权重蜘蛛，而111开头的则是百度渲染蜘蛛，一般不会变。
那我们如何正确识别呢?基于windows的不太确定性，我们用linux在同样的IP下测试，如下图：
同样可以看到、某个目标IP是否为百度蜘蛛。有时候单纯的通过UA去判断百度蜘蛛是有BUG的，BUG在于某一些想恶意采集或爬虫会伪造百度UA，从而给大家造成假象!
nslookup和host是判断某个IP是否为真蜘蛛的唯一标准。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/69979863/viewspace-2762522/ ，如需转载，请注明出处，否则将追究法律责任。
请登录后发表评论
登录
全部评论
