ITPub博客

首页 > 应用开发 > Python > 什么是Python网络爬虫?常见的网络爬虫有哪些?

什么是Python网络爬虫?常见的网络爬虫有哪些?

原创 Python 作者:老男孩IT教育机构 时间:2020-11-27 15:59:17 0 删除 编辑

  提及网络爬虫或许很多人都不太了解,经常会有人问什么是网络爬虫?简单的来讲,网络爬虫就是爬取数据,在我们生活中十分常见,接下来我们了解一下关于爬虫的知识吧。

  网络爬虫是一个互联网机器人,通过爬取互联网网上的网站内容来工作,它是用计算机语言编写的程序或者脚本,用于自动从Internet上获取任何信息或数据。机器人扫描并抓取每个所需页面上的某些信息,直接处理完所有正常打开的页面。

  常见的爬虫分为有四种:通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。

  1、通用WEB爬虫:爬取的目标数据十分巨大,并且爬行的范围也是很大的,正常由其爬取的数据是海量数据,故而对于这类爬虫来说,其爬取的性能要求是很高的。这类爬虫主要应用于大型搜索引擎中,有很高的价值。

  2、聚焦网络爬虫:按照预先定义好的主题有选择地进行网页爬取的一种爬虫,聚焦网络爬虫不像通用爬虫一样将目标资源定位全互联网,而是将爬取目标网页定位与主题相关页面,可以大大节省爬虫爬取时所需的带宽资源和服务器资源。

  3、增量WEB爬虫:爬取网页的时候,只爬取内容发生变化的网页或者新产生的网页,对于未发生内容变化的网页,则不会爬取。增量式网络爬虫在一定程度上能够保证所爬取的页面,尽可能是新页面。

  4、深层网络爬虫:深层页面则隐藏在表单后面,不能通过静态链接直接获取,需要提交一定的关键词之后才能够获取得到的页面,在互联网中,深层页面要比表层页面数量多,所以需要想办法爬取深层页面。


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69952527/viewspace-2737617/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
老男孩教育专注于Linux培训,Python培训,网络安全培训,Go语言培训,Linux运维,云计算培训,阿里云架构师培训的高端培训机构,汇聚了一批实战大牛,理论+实战互动式教学,注重教学质量及学员口碑的高品质IT教育培训机构。

注册时间:2019-11-01

  • 博文量
    656
  • 访问量
    287981