seo门户:搜索引擎蜘蛛在网址内部的主题活动！

正如你所知道的，你不能总是依赖蜘蛛引擎在访问或者索引你的网站时能够十分有效的运作。完全依靠他们自己的端口，蜘蛛会产生许多重复内容，把一些重要页面当成垃圾，索引本不应该展示给用户的链接入口，还会有其他的问题。有一些工具可以让我们能够充分控制蜘蛛在网站内部的活动，如meta robots标签，robots.txt、canonical标签等。 今天，我讲一下机器人控制技术使用的局限。为了让蜘蛛不抓取某一个页面，站长们有时会使用多个机器人控制

　　如同你所了解的，你不能一直依靠蜘蛛引擎在浏览或是数据库索引你的网址时可以十分合理的运行。彻底借助他们自己的端口号，搜索引擎蜘蛛会造成很多反复內容，把一些关键网页页面当做废弃物，数据库索引本不应该展现给客户的连接通道，还会继续有别的的难题。有一些专用工具能够使我们可以充足操纵搜索引擎蜘蛛在网址內部的主题活动，如metarobots标识，robots.txt、canonical标识等。

　　今日，我讲一下智能机器人控制系统应用的局限性。以便让搜索引擎蜘蛛不爬取某一个网页页面，网站站长们有时候会应用好几个智能机器人控制系统，来严禁百度搜索引擎浏览某一网页页面。悲剧的是，这种技术性能有时候相互之间排斥：从另一方面说那样的限定会把一些死链接给掩藏没了。

　　那麼，当一个网页页面的robots文件中被禁止访问，或是被应用noindextag和canonicaltag时候产生哪些？

　　迅速备考

　　在大家进到主题风格以前，使我们看一下这些流行的robots的一些限定方法吧：

　　元智能机器人标识

　　元智能机器人标识（MetaRobotsTag）为百度搜索引擎智能机器人创建网页页面级别表明。元智能机器人标识应放到HTML文档的头顶部。

　　标准标识（canonicaltag）

　　标准标识（canonicaltag）是一个坐落于网页页面HTML头顶部的网页页面级别的元标识。它告知百度搜索引擎哪一个URL的显示信息是标准的。它的目地是不许百度搜索引擎爬取反复內容，另外将反复网页页面的权重值集中化在标准的那一个网页页面上。

　　X智能机器人标识

　　自2012年至今，Google和别的百度搜索引擎早已适用把X-Robots-Tag做为一种方式来告知搜索引擎蜘蛛爬取和数据库索引的优先选择次序，X-Robots-Tag坐落于HTTP头顶部，曾用以通告搜索引擎蜘蛛爬取和数据库索引文档而用。该标识对操纵这些非HTML文档的数据库索引是很有效的，如PDF文档。

　　智能机器人标识

　　robots.txt容许一些百度搜索引擎进入网站內部，可是它并不可以确保实际某一网页页面是否会被爬取和数据库索引。除非是出自于SEO的缘故，不然仅有当的确必须或是在网站上面有必须屏蔽掉的robots时robots.txt才的确非常值得应用。我一直强烈推荐应用元数据标签“noindex”来替代它。

　　防止矛盾

　　另外运用二种方式来限定robot通道是不可取的：

　　·MetaRobots‘noindex‘（元智能机器人标识“noindex”）

　　·CanonicalTag（whenpointingtoadifferentURL）（规范标识）

　　·Robots.txtDisallow

　　·X-Robots-Tag（x智能机器人标识）

　　虽然你很想来维持网页页面的百度搜索，可是一个方法一直比2个好。使我们讨论一下当在一个单一的URL中有很多robots相对路径控制系统时候产生哪些。

　　MetaRobots’noindex‘和Canonical标识

　　假如你的总体目标是一个URL的权重值传送给另一个URL，但你却沒有别的的更强方法的情况下，那么就只有用Canonical标识。不能用元智能机器人标识的“noindex”来为自己找麻烦。假如你应用2个robot的方式，百度搜索引擎很有可能压根看不见你的Canonical标识。权重值传送的效应可能被忽视，由于智能机器人的noindex标识会使它看不见Canonical标识！

　　MetaRobots’noindex‘&X-Robots-Tag’noindex‘

　　这种标识是不必要的。这两个标识置放在同一个网页页面我只有见到的是给SEO导致的负面影响。假如你能在元智能机器人‘noindex’中更改头文件，你也就不应该应用x智能机器人标识吧。

　　Robots.txtDisallow&MetaRobots’noindex‘

　　这是我看了的最普遍的矛盾：

　　我往往青睐MetaRobots“noindex”的缘故是由于它能够合理的阻拦一个网页页面被数据库索引，另外它还還是能够传送权重值到联接这一网页页面的更多方面的网页页面。这是一个互利共赢的方式。

　　robots.txt文件不允许彻底限定百度搜索引擎查询网页页面上的信息内容（及其在其中有使用价值的内链），非常是不可以限定url被数据库索引。有哪些好处呢？曾经的我独立写过一篇有关这一主题风格的文章内容。

　　假如2个标识都应用，robots.txt确保会使MetaRobots‘noindex’不被搜索引擎蜘蛛见到。你能遭受robots.txt中disallow的危害而且错过全部的MetaRobots‘noindex’产生的全部益处。

转载请注明: 爱推站 » seo门户:搜索引擎蜘蛛在网址内部的主题活动！