seo蜘蛛精:蜘蛛返回404状态的页面都是网站改版前使用的网址

百度站长平台提供了一个很好的robots.txt自动生成工具，利用它我们可以很方便的写出robots.txt，通过robots.txt阻止搜索引擎收录你不想要被收录的页面及目录，还可以阻止及引导蜘蛛爬行更多的页面，减少蜘蛛的爬行量，提高蜘蛛的爬行效率，有效的提升更多的页面被收录。 前面我们介绍了通过IIS日志分析让你更好的了解网站运行情况，可以通过IIS日志查询到蜘蛛爬行中返回404状态的页面，这里我们可以用robots.txt禁止蜘蛛

　　百度站长工具出示了一个非常好的robots.txt全自动转化成专用工具，运用它人们能够 很便捷的写成robots.txt，根据robots.txt阻拦百度搜索引擎检索你没要想被检索的网页页面及文件目录，可以阻拦及正确引导搜索引擎蜘蛛爬取大量的网页页面，降低搜索引擎蜘蛛的爬取量，提升搜索引擎蜘蛛的爬取高效率，合理的提高大量的网页页面被检索。

　　前边人们详细介绍了根据IIS日志分析系统给你更强的掌握网址运作状况，能够 根据IIS系统日志查寻到搜索引擎蜘蛛爬取中回到404情况的网页页面，这儿人们能够 用robots.txt严禁搜索引擎蜘蛛爬取。

　　百度站长工具申请注册及网站验证方式这儿就不多说了，下边讲下Robots专用工具的操作方法：

　　根据图中能够看见，搜索引擎蜘蛛回到404情况的网页页面全是网站优化前应用的网站地址，如今都不会有了，可是百度搜索引擎数据库查询还储存有纪录，因此每日搜索引擎蜘蛛还会来爬取这一网页页面的数据信息的，也有的情况下是搜索引擎蜘蛛沿着其他网址上边留有的外部链接爬回来的。

　　下边人们演试如何将根据亿光年SEO日志分析系统手机软件转化成的系统日志汇报中显示信息的404情况不会有的网页页面都屏蔽，不许搜索引擎蜘蛛爬取。

　　最先登录百度站长工具，点一下左侧莱单的“Robots专用工具”进到Robots全自动转化成页面。

　　随后将图中中404情况的网页页面相对路径梳理后拷贝到Robots专用工具文本框中。

　　User-agent下边挑选“全部”，情况挑选“不容许爬取”，键入相对路径后点一下后边的“建立”，图中人们检测了2个相对路径，各自是文件目录和一个文档，能够 一下子键入好几个相对路径，提议先往文本文档里边将网站地址梳理好再递交，一行一个相对路径。

　　点一下“建立”之后，能够看见，下边的robots.txt內容中出現的编码，并且百度站长工具Robots专用工具有一个益处就是说，无论你也是双层文件目录還是网址单文档网页页面，它都自动检索后排列转化成，不容易导致单网页页面和文件目录次序紊乱导致搜索引擎蜘蛛爬取robots.txt的情况下出現不正确，因此人们大无须担忧文件格式难题了。

　　将全部必须屏蔽掉的网页页面或相对路径都转化成之后，点一下下边的“免费下载”，随后将robots.txt上传入网址网站根目录就就行了。

　　小贴士：robots.txt提交之后，人们能够 根据robots测试工具来试验一下robots.txt是不是合理或是有哪些不正确，CHINAZ、SEOWHY、爱站网等网址常有有关专用工具的。

　　提议用一个文本文档搜集404情况网页页面，随后梳理归档，每一次发觉IIS系统日志中有新的404网页页面出現，就在之前的归档里边搜索一下是不是有反复，沒有反复就能够 立即加上到robots.txt文档中了。

　

转载请注明: 爱推站 » seo蜘蛛精:蜘蛛返回404状态的页面都是网站改版前使用的网址