ITPub博客

首页 > IT职业 > IT职场 > goquery初试-房价信息爬取

goquery初试-房价信息爬取

IT职场 作者:kissxun 时间:2021-09-09 09:36:46 0 删除 编辑

  这次准备试试goquery库,来爬取我房网的房价信息。首先要安装goquery,参考当go get遇到墙时,安装好库就可以开始。
  比较重要的就是观察页面布局,元素特征。

图片描述

观察整体页面布局

图片描述

楼盘名称

图片描述

楼盘位置


  本次爬虫只要有房价的楼盘信息,代码如下:


package mainimport (    "fmt"
    "strconv"
    "time"
    "github.com/PuerkitoBio/goquery"
    "log"
    "bytes"
    "encoding/csv"
    "os")func p() {
    a:=0
    fileName := "wofang.csv"
    buf := new(bytes.Buffer)
    r2 := csv.NewWriter(buf)    for i := 1; i 


图片描述

爬取效果


  最后根据链接规律(大致就是:http://www.wofang.com/building/" + 地市键值+ "-te_住宅/",键值用的比较笨的方法手动一个个点出来的)爬一下各地市的信息并用echart做可视化。(本文仅供参考)

图片描述

s数据可视化效果



作者:polong
链接:https://www.jianshu.com/p/ba2d5686cb81

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/2766/viewspace-2805170/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2019-04-16

  • 博文量
    97
  • 访问量
    1042