ITPub博客

首页 > 大数据 > 数据分析 > 如何使用`open-uri`模块

如何使用`open-uri`模块

原创 数据分析 作者:金木大大大 时间:2023-11-13 11:27:07 0 删除 编辑

首先,我们需要使用`open-uri`模块来打开网页,并使用`Nokogiri`模块来解析网页内容。然后,我们可以使用`Nokogiri`的`css`方法来选择我们想要的元素,例如标题,作者,内容等。最后,我们可以使用`open-uri`模块来下载文件。


以下是一个简单的例子:


```ruby

require 'open-uri'

require 'nokogiri'


proxy_host = 'jshk.com.cn'



# 使用open-uri打开网页

html = open(" proxy_opts: { host: proxy_host, port: proxy_port })


# 使用Nokogiri解析网页内容

doc = Nokogiri::HTML(html)


# 选择我们想要的元素,例如标题,作者,内容等

title = doc.css('div.h2').text

author = doc.css('div.p1').text

content = doc.css('div.content').text


# 输出结果

puts "Title: #{title}"

puts "Author: #{author}"

puts "Content: #{content}"

```


注意:在使用代理时,需要确保代理服务器的稳定性.此外,爬虫程序的编写需要考虑到效率问题,避免对目标网站的服务器造成过大的负担。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70032566/viewspace-2994964/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2023-10-12

  • 博文量
    249
  • 访问量
    157744