搜索引擎排名:电脑浏览器和百度搜索引擎的区别

学习seo的人经常在网上看到一句话：搜索引擎蜘蛛跟浏览器差不多，都是抓取页面。那么到底哪些一样哪些不一样？Ethan就通过浏览器帮助大家理解搜索引擎蜘蛛怎样抓取页面。 首先看一张图，是用firebug（firefox浏览器的一个著名插件）记录下来的浏览器抓取我网站的情况。 针对图中标识，Ethan解释如下。 1.http协议开始，HTTP协议是典型的请求/响应模式，客户端请求服务器，然后客户端和服务器建立临时通道，然后服务器返回响

　　学习seo的人常常在网络上见到一句话：百度搜索引擎搜索引擎蜘蛛跟电脑浏览器类似，全是爬取网页页面。那麼究竟什么一样什么不一样？Ethan就根据电脑浏览器协助大伙儿了解百度搜索引擎搜索引擎蜘蛛如何爬取网页页面。

　　最先看一张图，是用firebug（firefox浏览器的一个知名软件）记下来的电脑浏览器爬取我网址的状况。

　　对于图上标志，Ethan表述以下。

　　1.http协议书刚开始，HTTP协议书是典型性的恳求/回应方式，手机客户端恳求网络服务器，随后手机客户端和网络服务器创建临时性安全通道，随后服务器返回回应。这儿电脑浏览器是一种客户端软件，百度搜索引擎搜索引擎蜘蛛也是一种客户端软件。手机客户端向服务器发送恳求行，随后是请求头信息内容。图上左上方有“GETwww.***.com”，体现了恳求行的內容，真实的恳求行是下边这行，firebug沒有明确：

　　“GET/HTTP/1.1”

　　这方面的文件格式是：

　　恳求方式 （get、post等）+一个空格符+恳求的URL（这儿“/”表达主页）+一个空格符+http协议书版本号（如今一般 是HTTP/1.1，便是http协议书1.1版）

　　记牢这一文件格式，我们在网络服务器系统日志里还会继续见到这类文件格式的数据信息。

　　恳求行后边紧跟请求头信息内容，在其中第一行是host字段名，指出了网络服务器是www.***.com，它是个网站域名，根据DNS解析域名，变为ip详细地址，也就是网络服务器的物理地址。

　　2.ip详细地址，后边灶具加80，说明浏览的是网络服务器的80端口。网络服务器一直处在待命状态，侦听80端口，一旦发觉有合乎HTTP协议书的头信息内容发来，就和手机客户端创建一个临时性安全通道，随后开展內部解决，并把結果根据临时性安全通道回到给手机客户端。在这个解决的另外，网络服务器还能够接纳其他HTTP恳求。

　　3.手机客户端刚开始接受回应信息内容，最开始回来的是情况行，真实的情况行是下边这行，firebug沒有明确：

　　“HTTP/1.1200OK”

　　这儿的200便是状态码，表达网页页面圆满开启。

　　4.随后手机客户端接到回应头信息内容。

　　5.最终手机客户端接到回应行为主体，也就是html编码。

　　6.留意这儿电脑浏览器和百度搜索引擎搜索引擎蜘蛛不一样，电脑浏览器会对html编码开展解决，展现出大家能看懂的网页页面；百度搜索引擎搜索引擎蜘蛛则只承担爬取，把html编码存有数据库查询里，自身迅速去爬取下一个网页页面。百度搜索引擎在全国各地都是有搜索引擎蜘蛛网络服务器，每一个网络服务器另外释放许多搜索引擎蜘蛛，没日没夜地爬取网页页面。

　　7.留意回应头信息内容里有一行gzip，表达html编码历经了gzip缩小。但是没有关系，电脑浏览器和百度搜索引擎搜索引擎蜘蛛都能够压缩包解压gzip文档。

　　8.html编码的尺寸，如果不缩小，远远不止6k。百度搜索引擎对网页源代码尺寸有一个限制，一种叫法是128k（未缩小），超出129k的內容已不爬取。

　　9.留意User-Agent，更是请求头信息内容里的这一字段名，告知网络服务器爬取网页页面的是电脑浏览器還是百度搜索引擎搜索引擎蜘蛛。有的网络服务器以便不许百度爬虫爬取，会禁封百度爬虫的User-Agent，参照百度站长工具俱乐部队公布的百度搜索SpiderUser-Agent字段名升级通告。

　

转载请注明: 爱推站 » 搜索引擎排名:电脑浏览器和百度搜索引擎的区别