百度排名点击:网址底端的一些导航栏网页面！

Robots文件是搜索引擎访问网站时第一个要读取的文件，它告诉搜索程序服务器上哪些内容可以抓取，哪些不用抓取。 目前网站的robots文件里面的抓取规则已经日趋完善，比如禁止了网页中图片的抓取，禁止蜘蛛抓取一些会员隐私（个人简历）页面、一些无用页面（之前的推广页面）、样式表文件等，但是仍然有部分页面并不需要蜘蛛程序的抓取，这部分页面只是面向用户的，搜索引擎抓取了并没有什么意义，瓜分了页面的权重。 一、网站的404页面 每个网站都存在一些

　　Robots文档是百度搜索引擎浏览网址时第一个要载入的文档，它告知检索程序流程网络服务器上什么內容能够爬取，什么无需爬取。

　　现阶段网址的robots文件里边的爬取标准早已日益完善，例如严禁了网页页面中照片的爬取，严禁搜索引擎蜘蛛爬取一些vip会员隐私保护（个人简介）网页页面、一些没用网页页面（以前的营销推广网页页面）、css样式表文档等，可是依然有一部分网页页面并不一定网络蜘蛛的爬取，这些网页页面仅仅以用户为中心的，百度搜索引擎爬取了并沒有什么意义，刮分了网页页面的权重值。

　　一、网址的404错误页

　　每一个网址都存有一些不正确网页页面，404错误页的存有便是为了更好地当客户浏览了不正确网页页面的情况下可以将客户正确引导到恰当的网页页面上，避免网站访问量的外流。而一个网页页面较多的网址毫无疑问存有许多 的不正确网页页面，这就造成存有许多 类似的404错误页，如下图所显示：

　　因此 ，一旦404错误页过多，而还让百度搜索引擎去百度收录，便会造成网址把权重值分到这种404错误页，因此 应当屏蔽掉404错误页。

　　加上标准：Disallow：/404.html

　　二、网址一部分导航栏网页页面

　　网址底端的一些导航栏网页页面，如“销售市场协作”“网址申明”“付钱方法”等全是对于顾客的网页页面，基本上沒有客户根据百度搜索引擎上检索这种网页页面并抵达网址，并且这种导航栏网页页面是整站显示信息的，全部的內容网页页面都存有，一样的还要分散化这种网页页面的权重值。

　　这些网页页面全是坐落于同一文件目录/main下，该文件目录下除保存一部分网页页面需搜索引擎蜘蛛开展爬取外，别的网页页面能够都严禁，保存网页页面为：“关于我”（main/aboutus.asp），友链（main/friendlink.asp）。除此之外“资费套餐规范”“付钱方法”网页页面坐落于公司用户中心网页页面，这种网页页面都没有必需对百度搜索引擎对外开放。

　　加上标准：

　　Allow：/main/aboutus*

　　Allow：/main/friendlink*

　　Allow：/main/recruitmeeting*

　　Allow：/main/investigation*

　　Disallow：/main/

　　Disallow：/company/companyapplymember*

　　将目前标准中最终一条删掉：disallow：/main/refuse*

　　将新加上的两根“Allow”标准放进disallow指令的前边。

　　根据一些对百度搜索引擎爬取实际意义并不大的网页页面，将主页和一些內容网页页面的权重值更为集中化。

　

转载请注明: 爱推站 » 百度排名点击:网址底端的一些导航栏网页面！