ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 网页爬虫——图论

网页爬虫——图论

原创 Linux操作系统 作者:晚秋的枫叶 时间:2013-09-12 21:10:48 0 删除 编辑
        随着互联网越来越庞大,其抽象特征也越来越符合离散数学中的图论,这点也是网络爬虫的理论基础。构建互联网的爬虫有三个最重要的基础点:
    一、使用BFS还是DFS
           1. BFS的好处在于,突出了网页的权重,因为每个网站,往往首页是最重要的,采用BFS可以在有限的时间内获得更多的有价值的网页。
           2. DFS的好处,在于降低了下载服务器同网页服务器之间的握手次数,提高了下载的次数。

    二、页面分析和URL提取
           如今网页很多由脚本语言写成,提取URL十分不容易。网络爬虫需要模拟页面运行的记过才能够得到里面隐含的URL。
   
    三、记录访问过的网页
           一个网页可能会有多条入度,我们需要排重算法,使用hash算法是最为合适的。而维护这张hash表是十分重要的一件事,尤其是成千上万的服务器共同访问同一张hash排重表。
          解决的方案是,按照服务器进行分类,明确不同服务器的下载分工,A下载这类网页,B下载那一类服务器。在此基础上,通过以批处理的方式query hash表,还能够有效的降低通信的消耗。
               
                

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29172126/viewspace-772654/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2013-09-12

  • 博文量
    4
  • 访问量
    5099