不同类型爬虫的爬行策略
1、增量式网络爬虫。在更新时只更新变化的地方，而没有变化的地方则不更新。
只抓取内容发生变化的网页或新产生的网页，在一定程度上可以保证所抓取的网页，尽量是新网页。
2、通用爬虫。
抓取目标资源在全网，抓取目标数据巨大。爬行性能要求很高。适用于大型搜索引擎，具有很高的应用价值。
主要包括深度优先爬行策略和广度优先爬行策略。
3、深层网络爬虫。
表面页面：无需提交表格，使用静态链接即可到达的静态页面。
深层网页:隐藏在表单后面，不能直接通过静态链接获取，是需要提交一定关键词才能获得的网页。
深层网络爬虫最重要的部分是填写表格。
4、聚焦网络爬虫。
在与主题相关的页面题相关的页面，主要用于抓取特定信息，主要为特定群体提供服务。
基于内容评价的爬行策略，基于链接评价的爬行策略，基于加强学习的爬行策略，基于语境图的爬行策略，专注于网络爬虫的具体爬行策略。
以上就是不同类型爬虫的爬行策略，经常会跟代理ip结合一起使用。大家可以尝试下品易http代理ip，拥有大量高匿ip，轻松抓取数、解决爬虫ip被封问题，流量免费测试正在进行！更多Python学习指路：python爬虫
本文教程操作环境：windows7系统、Python 3.9.1，DELL G3电脑。
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/46/viewspace-2829232/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
使用动态IP代理上网的优势
下一篇：
python快速排序的运作过程
请登录后发表评论
登录
全部评论
