轩辕SEO:老鸟勿喷新手站长朋友们的解答

一个合格的网站，必须在根目录下包含一下robots.txt文件，这个文件的作用对所有运营网站的朋友来说并不陌生，网上也提供了很多制作robots.txt文件的方法和软件，可谓相当方便。但是，你真的知道网站的robots.txt文件设置是否合理，哪些文件或者目录需要屏蔽、哪些设置方法对网站运营有好处? 那下面带着这些疑问，笔者会进行详细的解答，希望对新手站长朋友们有所帮助，老鸟勿喷。 一、什么是robots.txt 笔者引用百度站长工具中

　　一个及格的平台网站，务必在网站根目录下包括一下robots.txt文档，这一文档的功效对全部经营平台网站的盆友而言应该十分熟悉，在网上也出示了许多制做robots.txt文档的方式和手机软件，可以说非常便捷。但，你确实了解平台网站的robots.txt文档设定是不是有效，什么文档或是文件目录必须屏蔽掉、什么如何设置对网络运营有益处?

　　那下边带著这种疑惑，小编会做好详尽的解释，期望对初学者工作员小伙伴们有一定的协助，老手勿喷。

　　一、什么叫robots.txt

　　小编引入百度站长平台中后半段话来表述。百度搜索引擎应用spider程序流程全自动浏览互联网技术上的网页页面并获得网页页面信息内容。spider在浏览一个网站时，会最先会查验该平台网站的根域下是不是有一个称为 robots.txt的纯文本文档，这一文档用以特定spider在您平台网站上的爬取范畴。您能够 在您的平台网站中建立一个robots.txt，在文档中申明 该平台网站中不愿被百度搜索引擎引用的一部分或是特定百度搜索引擎只引用特殊的一部分。

　　二、robots.txt文档对平台网站有哪些好处呢

　　1、迅速提升百度权重和浏览量;

　　2、严禁一些文档被百度搜索引擎数据库索引，能够 节约网络带宽和平台网站网站打开速度;

　　3、为百度搜索引擎出示一个简单明了的数据库索引自然环境

　　三、什么平台网站的文件目录必须应用robots.txt文档严禁爬取

　　1)、照片文件目录

　　照片是组成平台网站的关键构成原素。随之如今建网站愈来愈便捷，很多CMS的出現，真真正正的做到了会电脑打字就会建设网站，而更是由于这般便捷，在网上出現了很多的单一化模板建站，被不断应用，那样的搜索引擎网站是毫无疑问讨厌的，即使就是你的平台网站被引用了，那么你的实际效果都是太差的。当你非得用这类平台网站得话，提议你应当在robots.txt文档中做好屏蔽掉，一般的网页图片文件目录是：imags 或是 img;

　　2)、网站模版文件目录

　　如上边 照片文件目录 中常说，CMS的强劲和灵便，也造成了许多单一化的网站模版的出現和乱用，高宽比的可重复性模版在百度搜索引擎中产生了一种数据冗余，且模版文档经常与转化成文档高宽比类似，一样易导致类同內容的出現。对百度搜索引擎很不友善，比较严重的立即被百度搜索引擎打入冷宫，不可侧睡，许多CMS有有着单独的模版储放文件目录，因而，应当做好模版文件目录的屏蔽掉。一般模版文件目录的文件目录是：templets

　　3)、CSS、JS文件目录的屏蔽掉

　　CSS文件目录文档在百度搜索引擎的爬取中沒有用途，也没法出示有使用价值的信息内容。因此强烈要求工作员小伙伴们在Robots.txt文档上将其做好屏蔽掉，以提升百度搜索引擎的数据库索引品质。为百度搜索引擎出示一个简单明了的数据库索引自然环境容易提高平台网站友善性。CSS款式的文件目录一般来说是：CSS 或是 style

　　JS文档在百度搜索引擎中没法做好分辨，这儿仅仅提议，能够 进行屏蔽掉，那样做也是一个益处：为百度搜索引擎出示一个简单明了的数据库索引自然环境;

　　4)、屏蔽掉双网页页面的內容

　　这儿拿DEDECMS来举例说明吧。我们都知道DEDECMS能够 应用静态数据和动态性URL做好同一篇內容的浏览，当你转化成整站静态数据了，那么你务必屏蔽掉动态性详细地址的URL连接。这儿有2个益处：1、百度搜索引擎对静态数据的URL比动态性的URL更友善、更非常容易引用;2、避免静态数据、动态性URL能浏览同一篇文章而被百度搜索引擎判为反复內容。那样做对百度搜索引擎友善性而言是好处多多的。

　　5)、模版缓存文件文件目录

　　许多CMS程序流程常有缓存文件文件目录，这类缓存文件文件目录的益处我想要别说大伙儿也清晰了吧，能够 十分合理的提高平台网站的网站打开速度，降低平台网站网络带宽，对客户体验都是非常好的。但是，那样的缓存文件文件目录也是一定的缺陷，那便是会让百度搜索引擎做好反复的爬取，一个网站中內容反复都是大祭，对平台网站百害而无一利。许多应用CMS建网站的盆友也没有留意到，务必要造成高度重视。

　　6)被删掉的文件目录

　　死链接过多，对seo优化而言，是致命性的。必须造成工作员的重视，。在平台网站的发展趋势全过程中，文件目录的删掉和调节是难以避免的，当你的平台网站当前目录找不到了，那务必对于文件目录做好robots屏蔽掉，并回到恰当的404不正确网页页面(留意：在IIS中，有的盆友在设定404不正确的那时候，设定存在的问题，在自定不正确网页页面一项中，404不正确的恰当设定应当是挑选：默认值 或是 文档，而不应当是：URL，以避免百度搜索引擎回到200的情况码。对于如何设置，在网上实例教程许多，大伙儿要吧搜索一下)

　　这儿有一个冲突性的难题，有关网站后台管理文件目录是不是必须做好屏蔽掉，实际上这一无关紧要。在能确保网站安全性的状况下，当你的网络运营经营规模小，即使网站后台管理文件目录出現在robots.txt文档中，都没有多问题，这一因为我见过许多平台网站那样设定的;但当你的网络运营经营规模很大，市场竞争夺手过多，强烈要求千万不要出現一切你网站后台管理文件目录的信息内容，防止被居心叵测的人运用，危害你的权益;实际上百度搜索引擎愈来愈智能化，针对平台网站的管理方法文件目录還是能非常好的分辨，并舍弃数据库索引的。此外，大伙儿在做网站的后台的那时候，还可以在网页页面元标识中加上：做好百度搜索引擎的屏蔽掉爬取。

　　最终，必须表明一点，许多工作员盆友喜爱把站点详细地址放到robots.txt文档中，自然这儿并非去屏蔽掉百度搜索引擎，只是让百度搜索引擎在第一次数据库索引平台网站的那时候便能根据站点迅速的爬取平台网站內容。这儿必须留意一下：1、站点的制做一定要标准;2、平台网站一定要有高品质的內容;

　

转载请注明: 爱推站 » 轩辕SEO:老鸟勿喷新手站长朋友们的解答