做搜索引擎就应当遵守robots规则
做搜索引擎就应当遵守robots规则近日,奇虎360综合搜索违反国际通行robots协议,直接抓取百度等网站未经授权的信息数据,在互联网业内引起轩然大波。对于这一违规行为,360方面反驳称百度在robots协议中禁止360爬虫...
注册时间:2012-09-06