好搜刷排名:为何我们要那么在乎一个网页面被反复爬取的概率呢?

我记得很多人知道我的博客是因为一篇关于nofollow的文章，恰好是在2年前写的。真没想到两年就这样转眼而过。现在我就来讲一下那篇文章中提到的那个nofollow做得好网站是哪个，以及他们如何做nofollow的吧。这个例子是我各种培训中都会讲到的，都已经讲得快起茧所以不想以后再说了。同时也为了让大家看看数据分析是如何指导SEO的。 这个网站就是曾经在外贸B2B领域做得很成功的网站–Tradekey。这里先介绍一下这个网站的

　　我还记得很多人了解我的网站是由于一篇有关nofollow的文章内容，正好是在2年前写的。万万没想到2年就是这样一转眼而过。如今我也而言一下那一篇文章中提及的哪个nofollow做的好网址是哪个，及其她们怎样做nofollow的吧。这一事例就是我各种各样学习培训上都会提到的，都早已讲得快起茧因此 不愿之后再说了。另外也为了更好地让大伙儿看一下数据统计分析是怎样具体指导SEO的。

　　这一网址便是以前在出口外贸B2B行业做得很取得成功的网址–Tradekey。这儿先介绍一下这一网址的历史时间：这是一个彻底借助SEO发家的网址，总公司在迪拜，现在是一家跨国企业，创办人十分年青。我之前读过一篇《依靠SEO去打造一个成功的网站》，那这一网址便是成功案例。在出口外贸B2B行业，以前有的网址一年都必须十来万花费，还拿不上是多少外贸询盘。可是以前在Tradekey上，免费vip都能取得许多非常好的外贸询盘。因此 它借助用户评价在B2B行业渐渐地兴起，被称作“B2B行业的一匹黑马”。在中国一些都较为懂互联网的出口外贸群体中也很时兴，以致于有一段时间中国都出現了许多tradekey的伪代理商。Tradekey是这般的强悍，因此 它之后基础关闭了免费vip，也就是全部在这个网址上发布商品的经销商，必须变成付钱vip会员才能够。在B2B行业，基础全是靠免费vip来邀人的，那样做确实必须自信。

　　Tradekey的自信，就来自它非常好的SEO技术性。许多做英文SEO的人都应当了解，在google上检索许多的商品关键字，它都能有非常好的排行，它的SEO总流量十分的丰厚。再加和这些受欢迎服务平台对比，它的经销商总数并不是许多，因此 大伙儿的实际效果相对性都能获得确保一些。

　　这一网址也就是我唯一见过的百度收录量以前做到100%的大中小型网址。我想讲的nofollow的运用，就从这一网址怎样提高百度收录刚开始。

　　如今很多人都是把相近“申请注册”或“登陆”那样的连接nofollow掉，这是由于google官方网就提议那样做，自然tradekey也干了。

　　鲜红色框中的是nofollow的连接

　　但是一个网站中能够加nofollow的地区也有大量。大家看来它的导航栏，在首页上，仅有“MemberArea”这一连接被加了nofollow。（如圖）

　　可是在这个网址的别的网页页面上，导航栏上全部的连接都被nofollow了。

　　导航栏大量的nofollow

　　非常少有些人能敢把导航栏上的连接nofollow掉，它那么做的缘故，根据数据信息来剖析一下也就懂了。

　　假如你常常应用《光年日志分析系统》那样的手机软件来剖析系统日志，便会发觉一个网站中有很多的连接在一天以内是能被浏览很数次的。如：下列就是这个手机软件统计分析出去的某一网页页面一天内被百度搜索引擎网络爬虫浏览的数据信息：

　　一天内不一样搜索引擎蜘蛛的浏览频次

　　理论上而言，假如一个网页页面上的內容升级得并不是很经常，那这一网页页面一天被爬取一次就可以了。针对那类早已被百度收录并且內容一直不会改变的网页页面，一天被爬取一次都太多了。就算是升级很经常的网页页面，一天被浏览50次也彻底可以了。但是具体情况远比理论上的槽糕，如同上边的这一爬取数据信息，一个无关痛痒的网页页面，百度蜘蛛一天都能爬取166次。大中小型网址更糟糕，有一次大家剖析完一个商业网站的数据信息，发觉这一网站爬虫每日的爬取量尽管有120多万元，可是在其中有15万次爬取全是在抓主页那么一个网页页面，能够想像别的网页页面又有多比较严重。

　　为何我们要那么在乎一个网页页面被反复爬取的概率呢？这是由于一个网站中也有许多别的的网页页面，网络爬虫根本就爬取不上。就算你的网址仅有几十个网页页面，都很有可能遭遇着这个问题。一个网站假如每一个网页页面均值被反复爬取10次，虽然很有可能网络爬虫每日的爬取量有一百万，那也仅有十万个网页页面被爬取了。一天以内的状况是这般，時间变长到一个月内、大半年内，状况不容易有多大改进。尽管百度搜索引擎也尝试处理反复爬取的情况，可是因为各种各样缘故，会造成今日反复爬取的网页页面，明日依然会反复爬取的。因此 许多的大中小型网址，一年出来，也有一半的网页页面，网络爬虫根本都没见到过。要不是剖析了许多网址的数据信息，很多人全是无法想象状况有那么比较严重的。

　　在爬取量一定的状况下，适度降低一些网页页面的反复爬取量，那会出现大量的别的网页页面会被爬取到。一个网站中，最非常容易被过多爬取的网页页面，便是这些常常曝出的网页页面，导航栏上的连接便是常常曝出的。因此 Tradekey的解决方案非常简单，便是在主页那么一个网页页面上，给网络爬虫留有通道去爬取导航栏上的连接，可是在别的网页页面上，就把导航栏上的连接nofollow掉。那样解决，会使导航栏上连接的爬取量，从之前被爬取上万次减少到现在被爬取几十次。尽管不可以做到理想化中的情况，可是也比之前好啦十分多。

　　Tradekey就用这类观念解决了网址上的许多连接。如：

　　很多运用nofollow

　　想像一下，当网络爬虫以那么一个网页页面做为浏览的通道时，因为许多通用性的连接都被屏蔽，那样就“逼着”网络爬虫去浏览这些它之前从来没有见到过的网页页面。全部网址能被网络爬虫浏览到的网页页面就大大增加了。

　　在google咖啡碱重做的很早以前、Tradekey还仅有英语版、商品信息仅有200多万条的情况下，它全部网址的真正百度收录量是两千多万。因此 基础觉得这一网址保证了100%百度收录。（真正百度收录就是指按一个网站的URL特点查寻分别的百度收录量，再把全部URL特点的百度收录量加起來的数据信息。这一数据信息在google咖啡碱重做之前是较为精确的。）

　　但是假如Tradekey仅仅那样来用nofollow，那還是有点儿平平常常的。更能反映Tradekey用熟了nofollow的是它别的的修改。

　　开启Tradekey的主页，能够见到Tradekey把网址最新发布的商品和强烈推荐的商品信息给nofollow了。

　　商品信息都被nofollow

　　坚信这些阅历丰富的SEO人要感觉它是难以置信的，因为它那样做很有可能犯了2个不正确：一是把最新发布的商品nofollow掉，那这种最新发布的商品的百度收录会遭受危害。二是危害了“主页效用”，会让一些关键字的排行消退。说白了的“主页效用”我想解释一下，由于很多人第一次听闻这一专有名词。可是针对做大中小型网址的SEO工作人员而言应当会观查到这一状况。便是在许多的大中小型网址上，要做一些关键字的排行实际上是较为非常容易的，要是把这个关键字连接在主页上面一段时间，这一关键字的排行就升高了。这是由于大中小型首页的权重值（权重值并不是PR）确实非常大，主页上的链接分享了这一权重值。假如这一放到主页的关键字是个长尾词，那基础会排前几个。大伙儿去查一些大中小型网址的主页连接，也都能够观查到这一状况。

　　针对Tradekey而言，它在主页nofollow掉的这种连接，因为全是一些长尾词，假如不用nofollow，许多关键字都是有排行和总流量的。如如今网页页面上的“WheelHubCentricSpacers”那样的词句。可是它为何又不必这类词句的排行和总流量呢？

　　这是由于它从总体视角考虑到，要把网址的盈利利润最大化。“主页效应”是有前提条件的，便是主页的连接越多，每一个连接的“主页效用”的实际效果越弱。这和PR值的基本原理一样，仅仅这一实际效果并不是因为PR值的被稀释液导致的。在主页上，把一部分连接nofollow掉，此外一些连接的实际效果便会提高。暗流涌动，整体的总流量不一定会减少。此刻便是一个选择难题，那一个B2B网站要提高什么网页页面的实际效果而变弱什么网页页面的实际效果呢？

转载请注明: 爱推站 » 好搜刷排名:为何我们要那么在乎一个网页面被反复爬取的概率呢?