ITPub博客

首页 > IT职业 > IT职场 > 爬虫HTTP代理的缓存机制

爬虫HTTP代理的缓存机制

IT职场 作者:lilyone 时间:2021-09-11 09:56:10 0 删除 编辑

爬虫HTTP代理的缓存机制.png


HTTP缓存机制包括Freshness和validation。

Freshness设置了HTTP响应的有效时间:在该有效期内,获得响应后,可以直接从缓存返回数据,而不需要再次发出实际请求。有关的HTTP头部包括Expires、Pragma、Cache-Control等(其中Expires、Pragma和Cache-Control是HTTP/1.1)。

validation设置了一组验证规则来验证当前客户端缓存的资源是否是新的。这类确认通常发生在前者规定的有效期失效(换句话说,Freshness在之前,Validation在之后)。

如果缓存不起作用,客户机将在请求头中包括前置条件头,然后再次将请求发送到服务器。如果验证失败,它将返回304NotModified,否则会完全基于原始逻辑返回。有关的HTTP包括:ETag,Last-Modified,If-Modified-Since,If-None-Match,If-Range,Cache-Control,等等。

你会发现Cache-Control已经出现在上面的两个地方,事实上,这个HTTP头可以输入不同的指令来控制有效时间和校验规则。一般来说,例如,使用max-age控制缓存的最大保留时间,使用must-revalidate控制客户端,每次使用缓存前,都必须进行校验,使用no-store控制客户端不缓存,等等。

极光爬虫代理为您提供了安全、稳定、高效、方便的代理IP服务,在提供高容量的极光爬虫代理在提供代理IP资源的同时,还可以设置不同类型的HTTP代理,以及设置去重等标准,简单来说,极光爬虫代理就像是一座连接互联网的桥梁,它可以根据用户的需求设置HTTP代理类型,帮助您持续获取行业数据,极光爬虫代理为您思考资源质量问题,帮助您轻松进入互联网大数据时代。站点可免费领取试用,更多问题请点击网站客服信息。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/4635/viewspace-2830095/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-08-01

  • 博文量
    159
  • 访问量
    974