网站推广营销:坚信SOE及网站站长们早已有确立的方式去鉴别了

对于真假百度蜘蛛，相信SEO及站长们已经有明确的手段去辨别了。百度也在官方通告了如何去判别伪装成百度蜘蛛的抓取，详情请参考这篇文章：http://www.baidu.com/search/spider.htm 假蜘蛛对我们网站的危害是巨大的，具体有： 1.占用网站带宽，导致网站流量上升，增加额外开销 2.在有限带宽的前提下，阻碍了正常蜘蛛的抓取 3.误导了我们在对网站开展SEO工作时的思路 4.部分伪装成假蜘蛛的采集工具剽窃了我们的工作

　　针对真伪百度爬虫，坚信SOE及网站站长们早已有确立的方式去鉴别了。百度搜索也在官方网通知了如何去辨别装扮成百度爬虫的爬取，敬请参照本文：https://aaa..baidu..info/search/spider.htm

　　假搜索引擎蜘蛛对人们网址的伤害是极大的，实际有：

　　1.占有网址网络带宽，造成 网站访问量升高，提升附加花销

　　2.在比较有限网络带宽的前提条件下，阻拦了一切正常搜索引擎蜘蛛的爬取

　　3.欺诈了我们在对网址进行SOE工作中时的构思

　　4.一部分装扮成假搜索引擎蜘蛛的采集软件抄袭了人们的工作中

　　人们见到，在网上有很多人到共享怎样“抓住”假搜索引擎蜘蛛的文章内容，但这种文章内容仅仅千篇一律的叙述了“抓住”假搜索引擎蜘蛛的全过程及操作步骤。却沒有共享从怎样真实的辨别搜索引擎蜘蛛的真假。

　　创作者自己近期在对一个电子商务网站开展SOE提升时，就遇到了那样一个实例，差点造成 将真搜索引擎蜘蛛错当假搜索引擎蜘蛛来解决。

　　一、发觉“假搜索引擎蜘蛛”

　　SOE提升要借助很多的剖析和数据信息来保持，在其中日志分析系统是头等大事，在系统日志中我们可以见到许多 平常统计分析专用工具没法见到的数据信息和客观事实。

　　每周三我都要对该电商网址开展周系统日志的剖析，便于来统计分析上一周的提升实际效果，在这周开展对网站流量统计开展剖析查询时，我发现好多个不属于了解中的“搜索引擎蜘蛛lP”，如图所示：

　　我们知道，百度爬虫一般来自于202.181.108.*和123.125.71.*这两个lP段（顺带科谱一下，这两个lP段的百度爬虫沒有说白了高权重值和被降权惩罚之分）。显而易见这三个lP在“基本常识”中，不属于百度爬虫隶属的lP段。

　　以便保证不误伤百度爬虫，小编用nslookupip命令反解了此lP，获得下列信息内容：

　　这个时候，基础早已能够明确该lP不属于百度爬虫的lP段，是一个“假搜索引擎蜘蛛”，人们必须屏蔽掉该lP释放出来这些被占有的网络带宽。

　　二，误解“假搜索引擎蜘蛛”

　　就在要对之上提及的三个lP开展屏蔽掉的情况下，小编忽然想起，这一电子商务网站在上星期通告我她们要应用安全宝服务项目，必须将DNS分析到安全宝的网络服务器上，而安全宝则会依据客户的浏览状况，挑选间距近期的一个连接点开展cdn节点加快。

　　在我以前的常规SOE查验中，发觉网站IP被分析来到陕西省的一个lP上，而这一网站IP和此次我在网站流量统计中发觉的三个“假搜索引擎蜘蛛”lP归属于同一lP段。

　　以便认证这一推断，我又再次细心查询了网站流量统计，发觉Google搜索引擎蜘蛛和搜狗搜索搜索引擎蜘蛛也来自于以前三个lP（以前对网站流量统计开展了分拆，只查询百度搜索的状况，由于网址是对于百度搜索做SOE的）。

　　这下子终于清晰了，这种隶属lP的搜索引擎蜘蛛并不是假搜索引擎蜘蛛，只是物超所值的百度爬虫、Google搜索引擎蜘蛛和别的百度搜索引擎的搜索引擎蜘蛛。只不过是由于她们根据了一次cdn节点连接点，因此导致了她们的来源于lP是一致的。

　　三，云虚拟主机怎样造成“假搜索引擎蜘蛛”

　　从而小编忽然想起，以前在阅读文章小文章的情况下，常常会见到有网站站长埋怨发觉假搜索引擎蜘蛛，来源于XX主机房（就那麼一两家主机房）。

　　它是一件很怪异的事儿，难道说采集软件和假搜索引擎蜘蛛都产于这一主机房？客观事实当然并不是那般的，只是：

　　1.挺大一部分发觉假搜索引擎蜘蛛的网站站长，所应用的是某服务器经销商出示的群集服务器，或相近特性的云虚拟主机。

　　2.群集特性的云虚拟主机，同cdn节点的大道理是同样的，将要顾客的室内空间和网站材料同歩到同一个群聊的全部网络服务器上。

　　3.搜索引擎蜘蛛的来源于不一样，一些是立即浏览网站的，另一些是根据一些外部链接浏览网站的。而这种根据外部链接浏览网站的搜索引擎蜘蛛，会就近原则根据cdn节点连接点浏览。

　　4.cdn节点连接点各家企业都不一样，但大概分成地区战区（并不是省）和电信网、网通电信那样的方法区划。

　　5.这些根据cdn节点连接点浏览网址的搜索引擎蜘蛛，来源于lP当然并不是从北京总部考虑时的lP。

　　最后事儿获得了非常好的处理，该电子商务网站自提升至今实际效果一直优良，尽管选用了cdn节点，但事实上cdn节点对百度搜索引擎来讲沒有一切阻碍，反倒有益于网站速度和提升客户体验。

　　这一SOE实例也另外告知人们，在网上的SEO教程是会落伍的，伴随着互联网技术的发展，人们SOE还要学好理性的去看待一些实例教程和共享，要有提出质疑和敢于实践活动的精神实质，另外对互联网技术的一些基础的技术性专业知识要有一定的掌握。

转载请注明: 爱推站 » 网站推广营销:坚信SOE及网站站长们早已有确立的方式去鉴别了