小梁建站专注重庆中小企业网站建设SEO优化,让您网站更具价值!

当前位置:首页 > SEO基础 > 如何正确建立robots.txt纯文本文件?手把手教你制作robots.txt站点协议文件

如何正确建立robots.txt纯文本文件?手把手教你制作robots.txt站点协议文件

时间:2018-04-01 14:47 来源:重庆网站制作公司(www.seozol.cn) 作者:重庆网站建设公司

 
今天碰到一个seo新手,他问我什么是“robots.txt纯文本文件?”本来这是一个非常简单的问题,网上的网友也给他做了很多回答,但他就是理解不到“robots.txt站点协议文件”要表达的正确含义,于是我通过举例说明:这个文件要所表达的就是你平时要去网吧上网,网管要给你限制的一些条件(年龄要达到18岁,而且要有自己的身份证),满足这些条件才可以上网,而我们网站上就要制作这样的文件规则,来限定搜索引擎蜘蛛访问网站的一些限制条件,而在我们网站根目录制定了这样的站点协议文件,对搜索引擎蜘蛛访问网站的规则条件才生效。如果不知道建立robots.txt纯文本文件?,就看看下面具体的制作方法:

robots.txt纯文本文件怎么做?
 
robots.txt纯文本文件由记录组成,记录之间以空行分开。
 
格式:<域>:<可选空格><域值><可选空格>
 
注意:记录之间应以空行分开。
 
 
如何正确书写robots.txt纯文本文件?
 
 
User-agent:指定规则适用于哪个蜘蛛(如:如百度是Baiduspider,谷歌是Googlebot或是其他搜索引擎)
 
Allow:允许抓取什么URL路径
 
Disallow:不允许抓取什么URL路径
 
通配符*代表所有搜索引擎
 
结束符$:表示以前面字符结束的u
 
注意:允许或禁止的目录或文件必须分开写,每个一行
 
robots.txt纯文本文件制作方法:
 
(1) 禁止所有搜索引擎抓取任何页面
 
User-agent: *
 
Disallow: /
 
(2)允许所有的搜索引擎访问网站的任何部分
 
User-agent: *
 
Disallow:
 
(3)仅禁止Googlebot访问您的网站
 
User-agent: Googlebot
 
Disallow: /
 
也可换为其他搜索引擎
 
(4) 仅允许Googlebot访问您的网站
 
User-agent: Googlebot
 
Disallow:
 
也可换为其他搜索引擎
 
(5)禁止spider访问特定目录
 
User-agent: *
 
Disallow: /cgi-bin/
 
Disallow: /tmp/
 
注意事项:1)目录要分别写。2)请注意最后要带斜杠。3)带斜杠与不带斜杠的区别。
 
(6)允许访问特定目录中的部分url:如:不抓取/ab/目录下的其他目录和文件,但允许抓取其中/cd/目录下的内容
 
User-agent: *
 
Disallow: /ab/
 
Allow: /ab/cd/
 
注:允许收录优先级要高于禁止收录。
 
(7) 禁止访问网站中所有的动态页面
 
User-agent: *
 
Disallow: /*?*
 
(8)禁止搜索引擎抓取网站上所有图片
 
User-agent: *
 
Disallow: /*.jpg$
 
Disallow: /*.jpeg$
 
Disallow: /*.gif$
 
Disallow: /*.png$
 
Disallow: /*.bmp$
 
(9)允许抓取以.htm为后缀的URL
 
User-agent: *
 
Allow: .htm$
 
(10)禁止抓取所有htm文件
 
User-agent: *
 
Disallow: /*.htm
 
六、robots.txt纯文本文件几种特殊情况
 
被robots文件禁止抓取的URL还是可能被索引并出现在搜索结果中。只要有导入链接指向这个URL,就会被搜索引擎搜索引擎识别出来有这个URL的存在,虽然不会抓取页面内容,但是索引库中会有这个URL的页面信息存在。通常以下面四种情况呈现出来。
 
(1)只显示URL,没有标题和描述
 
(2)显示开放目录或雅虎等重要目录收录的标题和描述
 
(3)导入链接的锚文字显示为标题和描述
 
(4)搜索引擎从其他地方获得的信息显示为标题和描述
 
其实很多情况呢,要具体分析,只有掌握了robots文件基本语法,才能合理正确的设置robots.txt纯文本文件。
 
 
 

版权声明:本文:如何正确建立robots.txt纯文本文件?手把手教你制作robots.txt站点协议文件 由重庆网站制作公司(www.seozol.cn)原创内容,如需要转载请注明原文网址:重庆网站建设公司http://www.seozol.cn/

 
喜欢看,就分享到:

围观: 9999次 | 责任编辑:重庆网站建设公司

回到顶部