搜索引擎可以通过robots.txt文件可以获知哪些页面可以爬取，哪些页面不可以爬取。robots.txt文件可能会泄露网站的敏感目录或者文件，比如网站后台路径，从而得知其使用的系统类型，从而有针对性地进行利用。如我们的博客的rebots.txt的配置如下图。
User-agent指定搜索引擎，*代表所有的搜索引擎。Disallow禁止爬的目录
漏洞利用
robots.txt文件漏洞算是低微漏洞。但是在配置过程中往往存在敏感信息和目录泄露的风险。具体表现在下面几个方面。
敏感目录泄露
在robots.txt文件中，我们会设置很多敏感目录。如管理后台地址。phpmyadmin地址等等。为了不让搜索引擎抓取到，我们往往在文件中添加对应的路径。从而造成敏感信息泄露。
CMS识别
有时候，要想知道一个站点是基于那个框架开发的，我们可以观察robots.txt文件中目录的结构。如我们常见的WordPress Discuz等cms程序其robots.txt文件都是特定的。在默认情况下可以直接通过该文件推断cms。
安全建议
合理配置 robots.txt文件。加强后台管理密码
更多精彩文章 欢迎关注我们
原文作者：Kali笔记；如有侵权，请联系管理员删除。
上一篇：
网站被DOS肿么办？
下一篇：
B站自动化签到 亲测好用
请登录后发表评论
登录
全部评论
