宁波seo优化:百度搜索引擎蜘蛛爬取网页面的特性！

昨天和主管聊搜索引擎蜘蛛抓取网页的特点，主管一句话“百度蜘蛛抓取网页层次浅，如果用robots.txt文件静止，则导致网站收录停止”则让我心里有个疑问，难道真的是这样的？我的博客是8.12建立了，建立后写了几篇原创文章同时转载了部分文章，有几篇文章还在站长之家、站长网等网站投稿了，外部链接也做了点，可是百度只收录首页，死活不收录其他页面，而且首页快照也不更新。联系到这句话，因为博客的robots.txt文件屏蔽了

　　昨日和负责人聊百度搜索引擎搜索引擎蜘蛛爬取网页页面的特性，负责人一句话“百度爬虫爬取网页页面层级浅，假如用robots.txt文件静止不动，则造成百度收录终止”则要我内心有一个疑惑，难道说真的是那样的？我的网站是8.12创建了，创建后写了2~3篇原创文章内容另外转截了一部分文章内容，有2~3篇文章内容仍在爱站网、站长论坛等网址文章投稿了，外链也干了点，但是百度搜索只百度收录主页，好歹不百度收录别的网页页面，并且主页快照更新都不升级。联络到这话，由于blog的robots.txt文件屏蔽掉css文件（Disallow:/*.css$），因此 昨天晚上决策发一篇文章，改动下robot.txt文件，等候百度搜索升级，今日观查結果。

　　最先、根据百度站长工具-seo综合查寻結果如下图：

　　网站收录量：总百度收录量：4；今天百度收录：0；近期一周：1；近期一月：4。

　　百度搜索反链：661个。

　　关键词排名：信阳seo：24；信阳网站提升：18；信阳网站营销推广：77

　　第二、看百度搜索引擎百度收录历史记录。

　　从2011-08-13到2011-08-31百度搜索对blog百度收录量从0提升到1后保持不会改变。对比状况下，google百度收录量则从0提升82。别的百度搜索引擎大多数终止百度收录。

　　再看百度搜索引擎反链的历史记录。

　　从2011-08-13到2011-08-31百度搜索反链从1提升到131，google反链从0提升到1（google反链提升比较慢），yahoo反链则从0提升到21，有道反链一直为0。

　　从百度搜索反映看来，robots.txt文件屏蔽掉css很有可能便是造成百度搜索对网址终止百度收录的缘故了。夜里与盆友闲聊，盆友讲过个见解：由于blog的css文件（http://www.0376seo.net/wp-content/themes/prowerV3/prowerV3/style.css）里有掩藏编码（“Display:none;”）一旦屏蔽掉百度搜索引擎搜索引擎蜘蛛爬取便会被百度搜索引擎判断为舞弊。原本css文件掩藏编码是出自于网页布局或别的必须而不可认为之的对策，一旦屏蔽掉搜索引擎蜘蛛爬取，当搜索引擎蜘蛛爬取网页页面时，发觉掩藏文本，而这时又没法爬取css文件，因此 就判断为舞弊。

　　在blog的css文件中有二处掩藏编码：

　　#navliul,.says{display:none;}

　　*html#go_top{display:none;}

　　对比网页页面编码寻找实际的xhtml编码：

　　回到顶部

　　讲到：

　　最终网页搜索“robotscssseo”寻找seowhy的一个贴子“robots.txt屏蔽掉css文件的疑惑……舞弊相关”。

　　今日就这个难题我求教了seo界的一些大咖，回答不一。但大多数觉得它是舞弊的严厉打击目标。

　　在其中有一个我本人觉得较为有效的回答写出去供大伙儿参照：

　　“robots.txt文件能阻拦百度搜索引擎百度收录，但仍然能载入，結果还会被判断为舞弊”。

　　我的网站在创建之初，robots.txt文件是参照百度搜索引擎上一些blog的书写，不加思索地照搬进去，造成被百度搜索判断为舞弊。

　　实验：

　　两个新网站，选用一样的系统软件（dedecms），室内空间同样配备，网站域名年纪相仿，一个设定robots.txt文件严禁爬取css，另一个则不严禁。随后另外递交到百度搜索，不断一段时间观查百度搜索反映。

　

转载请注明: 爱推站 » 宁波seo优化:百度搜索引擎蜘蛛爬取网页面的特性！