搜索引擎技术基础中，蜘蛛爬取到网站中，通常会去检索一个文本文件Robots.txt，通常存放在网站的根目录下。它是专门用来同网络蜘蛛交互用的专用文件。这也就是SEOer老是去屏蔽网站页面不想被搜索引擎抓取的原因，它是一个网站和搜索引擎蜘蛛对话的重要工具，但是蜘蛛是否都遵循站长对其实施的规则呢？其实蜘蛛遵循还是得看蜘蛛出身，素质高的会遵循规则，相反则不遵循。另外在网站中放入一个叫做sitmap.htm的网页，并将它作为网站的入口文件，这也是蜘蛛与网站的交互方法。对于交互性的SEO手段，我们了解了就可以针对性的做出符合搜索引擎的蜘蛛喜好的网站地图。http://www.51tuoxin.com
http://www.chaision.com
页面Meta字段也是站长经常使用的搜索引擎优化技术，这个字段通常会放在文档的头部，很多站点都只是简单的写个允许百度抓取的字段，正不正确笔者不清楚，SEO其实很多现象都是基于数据分析对比才能得知。Meta字段蜘蛛可以在没有读取到全部文档的情况下就了解文档的相关信息，可以避免将无效的网页取下来后又将其废弃而造成无谓的浪费。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/28678100/viewspace-755043/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
蜘蛛工作原理
下一篇：
不要指望别人教你seo
请登录后发表评论
登录
全部评论
