全部博文
-
编辑 删除
robots.txt文件代码说明实例
在一个站点的根目录下，而且文件名必须全部小写。要访问robots.txt文件就是在域名后面加“/robots.txt”，比如说访问www.zzrl120.com网站中的robots协议，就应该在地址栏输入www.zzrl120.com/robots.txt 就可以访问了。 robots协议是搜索引擎在爬取网站的时候要查看的第一个文件，文件会告诉蜘蛛程序在服务器上什么文件是可以被查看的，对应的不允许查看的内容，蜘蛛程序是不会查看。 robots协议中的代码说明： 1 User-agent:*允许所有搜索引擎抓取(注意每个":"后面的
