seo屌丝:Disallow和mulu的区别

前几天写了robots.txt的规则误区并介绍百度和Google的robots工具的使用，介绍了几个robots.txt文件的规则的误区，然后发现其实不止那些，还有很多大家没有注意的误区。 今天重新列举一下常见的robots.txt实际使用中的误区： 误区1.Allow包含的范围超过Disallow，并且位置在Disallow前面。 比如有很多人这样写： User-agent: * Allow: / Disallow: /mulu/ 想

　　前几日写了robots.txt的标准错误观念并详细介绍百度搜索和Google的robots专用工具的应用，详细介绍了好多个robots.txt文件的标准的错误观念，随后发觉实际上不仅这些，也有许多大伙儿沒有留意的错误观念。

　　今日再次例举一下普遍的robots.txt具体应用中的错误观念：

　　错误观念1.Allow包括的范畴超出Disallow，而且部位在Disallow前边。

　　例如有很多人那样写：

　　User-agent:*

　　Allow:/

　　Disallow:/mulu/

　　想让全部搜索引擎蜘蛛爬取本网站除/mulu/下边的url以外的全部网页页面，严禁爬取/mulu/下边的全部url。

　　百度搜索引擎搜索引擎蜘蛛实行的标准是从上向下，那样会导致第二句指令无效。换句话说严禁爬取/mulu/文件目录这条标准是失效的。正确的是Disallow应当在Allow之中，那样才会起效。

　　错误观念2.Disallow指令和Allow指令以后沒有以斜线”/”开始。

　　这一也非常容易被忽略，例如许多人那样写Disallow:123.html，这类是沒有实际效果的。斜线”/”表达的是文档针对网站根目录的部位，假如没有得话，当然没法分辨url是哪个，因此是不正确的。

　　恰当的应该是Disallow:/123.html，那样才可以屏蔽掉/123.html这一文档，这条标准才可以起效。

　　错误观念3.屏蔽掉的文件目录后沒有带斜线”/”。

　　也就是例如想屏蔽掉爬取/mulu/这一文件目录，有的人那样写Disallow:/mulu。那麼那样是不是恰当呢？

　　最先那样写（Disallow:/mulu）的确能够屏蔽掉/mulu/下边的全部url，但是另外也屏蔽掉相近/mulu123.html这类开始为/mulu的全部网页页面，实际效果相当于Disallow:/mulu*。

　　恰当的作法是，假如只想屏蔽掉文件目录，那麼务必在末尾随身携带斜线”/”。

　

转载请注明: 爱推站 » seo屌丝:Disallow和mulu的区别