ITPub博客

首页 > 大数据 > 数据分析 > Typhoeus库

Typhoeus库

原创 数据分析 作者:金木大大大 时间:2023-11-02 10:14:44 0 删除 编辑

  ```ruby


  require'typhoeus'


  proxy_host="jshk.com.cn"


  proxy_port=7413


  url="https://news.sohu.com/"


  Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE


  #Use the proxy to crawl the image


  Typhoeus.get(url,proxy:"http://#{proxy_host}:#{proxy_port}")


  ```


  这个程序使用了Typhoeus库来爬取https://news.sohu.com/的图片。我们首先引入了Typhoeus库,然后设置了代理服务器的主机名和端口号。接着,我们指定了要爬取的URL。

       最后,我们使用Typhoeus.get方法来发起请求,并设置了代理服务器的URL。

       由于HTTPS请求需要进行SSL验证,我们使用Typhoeus::Config.ssl_verify_mode=Typhoeus::Config::VERIFY_NONE来禁用SSL验证。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70032566/viewspace-2992458/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: needle库
下一篇: WebBits库如何使用
请登录后发表评论 登录
全部评论

注册时间:2023-10-12

  • 博文量
    249
  • 访问量
    157778