怀化网络公司:网站站长并不期待一些网页页面被抓走和百度收录！

有时候，站长并不希望某些页面被抓去和收录，如付费内容，还在测试阶段的页面，复制页面等。网站上不出线连接，或者使用Javesript，FLASH链接使用nofollow等方法都不能保证页面一定不被收录。站长自己虽然没有连接到不想被收录的页面，其他网站可能由于某种原因出现导入链接，导致页面被收录。 要确保页面不被收录，需要使用robots或meta robots标签。 robots文件 搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个

　　有时，网站站长并不期待一些网页页面被抓走和百度收录，如付钱內容，仍在产品测试的网页页面，拷贝网页页面等。网址上不小组出线联接，或是应用Javesript，FLASH连接应用nofollow等方式 都不可以确保网页页面一定不被百度收录。网站站长自身尽管沒有联接到不愿被百度收录的网页页面，别的网址很有可能因为种种原因出現导进连接，造成网页页面被百度收录。

　　要保证网页页面不被百度收录，必须应用robots或metarobots标识。

　　robots文档

　　百度搜索引擎搜索引擎蜘蛛浏览网址时，会先查询网址根目录下有木有一个取名为robots的纯文本文档，robots用以命令百度搜索引擎严禁爬取网址一些內容或制订容许爬取一些內容，如百度搜索的robots文档坐落于：

　　http://www.baidu.com/robots.txt

　　仅有在必须严禁爬取一些內容时，写robots才更有意义。robots文档不会有或是空文档都代表着容许百度搜索引擎爬取全部內容。有的端口设置有什么问题，robots文档不会有时候回到200状态码及一些错误报告，而不是404状态码，这有可能是百度搜索引擎不正确讲解robots文档信息内容，因此 提议即使容许爬取全部內容，还要建一个空的robots.txt文件，放到根目录下。

　　robots文档由纪录构成，纪录中间以空行分离。纪录文件格式为：

　　::

　　user-agent:*

　　disallow:/

　　上边这一robots文档严禁全部百度搜索引擎抓去一切內容。

　　user-agent：制订下边的标准合适用以哪一个搜索引擎蜘蛛。使用通配符*意味着全部百度搜索引擎，只适用百度爬虫则用：

　　user-agent:baiduspider。

　　只可用google搜索引擎蜘蛛则用：

　　user-agent:googlebot。

　　disallow：告知搜索引擎蜘蛛不必爬取一些文档或文件目录。例如下边的编码将阻拦全部搜索引擎蜘蛛爬取/cgi-bin和/tmp/2个文件目录下的內容及文档/aa/index.html：

　　user-agent:*

　　disallow:/cgi-bin/

　　disallow:/tmp/

　　disallow:/aa/index.html

　　disallow：严禁的文件目录或文档务必分离写，每一个一行，不可以写出：

　　disallow:/cgi-bin/tmp/aa/index.html

　　下边的命令等同于容许全部百度搜索引擎爬取一切內容：

　　user-agent:*

　　disallow:

　　下边的编码严禁除百度搜索外的手游游戏百度搜索引擎抓去一切內容：

　　user-agent:baiduspider

　　disallow:

　　user-agent:*

　　disallow:/

　　allow：告知搜索引擎蜘蛛应当爬取一些文档。迟疑不特定便是容许爬取，allow：独立写没有意义，allow和disallow相互配合应用，能够 告知搜索引擎蜘蛛某一文件目录下绝大多数不允许爬取，只容许爬取一部分。比如下边的编码将使搜索引擎蜘蛛不爬取/ab/文件目录下别的文件目录和文档，但容许爬取在其中/cd/文件目录下的內容：

　　user-agent:*

　　disallow:/ab/

　　allow:/cd/

　　$使用通配符：配对URL末尾的标识符。比如下边的编码将容许搜索引擎蜘蛛爬取以.html为后缀名的URL：

　　user-agent:*

　　allow：.html$

　　下边的编码将严禁百度搜索抓去全部的.jpg文档。

　　user-agent:baiduspider

　　disallow:.jpg$

　　*使用通配符：告知搜索引擎蜘蛛配对随意一段标识符。比如下边一段编码将严禁搜索引擎蜘蛛爬取.html文档。

　　user-agent:*

　　disallow:html$

　　sitemaps部位:告知搜索引擎蜘蛛xmlsitmap在哪儿，文件格式为：

　　site:《网站地图位置》

　　流行百度搜索引擎都遵循robots文档之灵，robots严禁爬取的文档百度搜索引擎将不浏览不爬取，但要留意的是，被robots文档严禁的URL還是有可能出現在百度搜索中。要是有导进连接偏向这一URL，百度搜索引擎就了解这一URL存有，尽管不容易爬取网页页面內容，可是有可能以下列几类方式显示信息在百度搜索中：

　　只显示信息URL，沒有题目，叙述。GG常那样解决。

　　显示信息对外开放文件目录或yahoo关键文件目录百度收录的题目和叙述。

　　导进连接的锚文本显示信息为题目和叙述，百度搜索常那样解决。

　　要想使URL彻底不出現在百度搜索中，必须应用网页页面上的metarobots标识。

　

转载请注明: 爱推站 » 怀化网络公司:网站站长并不期待一些网页页面被抓走和百度收录！