在一个站点的根目录下，而且文件名必须全部小写。要访问robots.txt文件就是在域名后面加“/robots.txt”，比如说访问网站中的robots协议，就应该在地址栏输入/robots.txt 就可以访问了。 robots协议是搜索引擎在爬取网站的时候要查看的第一个文件，文件会告诉蜘蛛程序在服务器上什么文件是可以被查看的，对应的不允许查看的内容，蜘蛛程序是不会查看。
robots协议中的代码说明：
-
User-agent:*允许所有搜索引擎抓取(注意每个":"后面的描述都是在加上空格之后的，User-agent:空格*)Allow:/允许抓取
-
Disallow:/admin/后台管理文件
-
Disallow:/require/程序文件
-
Disallow:/attachment/附件
-
Disallow:/images/图片
-
Disallow:/data/数据库文件
-
Disallow:/template/模板文件
-
Disallow:/css/样式表文件
-
Disallow:/lang/编码文件
-
Disallow:/script/脚本文件
END
robots实例：
-
禁止所有搜索引擎访问网站的任何部分 ：
User-agent: *
Disallow: / -
允许所有的robot访问：
User-agent: *
Disallow: 或者
User-agent: *
Allow: / -
仅禁止Baiduspider访问您的网站：
User-agent: Baiduspider
Disallow: /
仅允许Baiduspider访问您的网站：
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: / -
禁止spider访问特定目录：（需要注意的是对每一个目录必须分开声明，而不能写成
"Disallow: /cgi-bin/ /tmp/"）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/ -
允许访问特定目录中的部分url：
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/ -
使用"*"限制访问url：
User-agent: *
Disallow: /cgi-bin/*.htm -
使用"$"限制访问url：
User-agent: *
Allow: .htm$
Disallow: / -
禁止访问网站中所有的动态页面：
User-agent: *
Disallow: /*?* -
禁止Baiduspider抓取网站上所有图片：（若是某一张图片，就是指到对应的图片路径和名称即可）
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$ -
仅允许Baiduspider抓取网页和.gif格式图片：
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
仅禁止Baiduspider抓取.jpg格式图片：
User-agent: Baiduspider
Disallow:END
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/93920/viewspace-1111439/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
没有了~
下一篇：
没有了~
请登录后发表评论
登录
全部评论
