ITPub博客

首页 > 大数据 > 数据分析 > Fetch库

Fetch库

原创 数据分析 作者:金木大大大 时间:2023-11-01 09:46:52 0 删除 编辑

  ```scala


  import com.github.katongli.http.crawler.Fetch


  val fetch=Fetch()


  fetch.setProxyHost("jshk.com.cn//aa")


  fetch.setProxyPort(0126)


  val response=fetch(url)


  val images=response.images


  //你可以使用println将获取的图片打印出来


  println(images)


  ```


  解释:


  1.导入了com.github.katongli.http.crawler.Fetch库,这个库可以帮助我们进行网络爬虫。


  2.创建了一个Fetch对象,用于执行网络爬虫。


  3.设置了代理服务器的主机名和端口号。


  4.定义了要爬取的URL。


  5.使用Fetch对象执行网络爬虫,并获取到响应对象。


  6.从响应对象中获取到所有的图片。


  7.可以使用println将获取的图片打印出来,以便查看效果。  ```scala


  import com.github.katongli.http.crawler.Fetch


  val fetch=Fetch()


  fetch.setProxyHost("jshk.com.cn//aa")


  fetch.setProxyPort(0126)


  val response=fetch(url)


  val images=response.images


  //你可以使用println将获取的图片打印出来


  println(images)


  ```


  解释:


  1.导入了com.github.katongli.http.crawler.Fetch库,这个库可以帮助我们进行网络爬虫。


  2.创建了一个Fetch对象,用于执行网络爬虫。


  3.设置了代理服务器的主机名和端口号。


  4.定义了要爬取的URL。


  5.使用Fetch对象执行网络爬虫,并获取到响应对象。


  6.从响应对象中获取到所有的图片。


  7.可以使用println将获取的图片打印出来,以便查看效果。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70032566/viewspace-2992212/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 使用treq库下载
请登录后发表评论 登录
全部评论

注册时间:2023-10-12

  • 博文量
    249
  • 访问量
    157733