百度seo排名点击器:spider会依据第一个配对取得成功的Allow或Disal！

在对 robots.txt 文件设置记录时，要特别注意 Disallow 与 Allow 行的顺序是有意义的，spider 会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。 举例说明： 允许 spider 访问 /cgi-bin/ 目录下的包含 see 的文件夹或URL User-agent： * Allow： /cgi-bin/see Disallow： /cgi-bin/ 如果Allow 和 D

　　在对robots.txt文件设定纪录时，要需注意Disallow与Allow行的次序是更有意义的，spider会依据第一个配对取得成功的Allow或Disallow行明确是不是浏览某一URL。

　　举例子：

　　容许spider浏览/cgi-bin/文件目录下的包括see的文件夹名称或URL

　　User-agent：*

　　Allow：/cgi-bin/see

　　Disallow：/cgi-bin/

　　假如Allow和Disallow的次序替换一下：

　　User-agent：*

　　Disallow：/cgi-bin/

　　Allow：/cgi-bin/see

　　spider就无法打开到/cgi-bin/文件目录下的包括see的文件夹名称或URL，由于第一个Disallow：/cgi-bin/早已配对取得成功。

　　有关Disallow和Allow纪录书写

　　Disallow和Allow纪录后边能够 是一条详细的途径，还可以是途径的非前所未有缀。比如“Disallow：/help”严禁spider浏览/help.html、/helpabc.html、/help/index.html；而“Disallow:/help/”则容许spider浏览/help.html、/helpabc.html，不可以浏览/help/index.html。

　

转载请注明: 爱推站 » 百度seo排名点击器:spider会依据第一个配对取得成功的Allow或Disal！