爬虫程序的主要目标是获取指定网站上的数据。在这里，我们将使用 Ruby 的 Nokogiri 库来解析 HTML，并使用 HTTParty 库来发送 HTTP 请求。下面是一个简单的示例，演示如何使用 Ruby 编写一个爬虫程序来爬取 1688 网站的数据。

```ruby

require 'nokogiri'

require 'httparty'

# 定义要爬取的 URL

url = "jshk.com.cn"

# 使用 HTTParty 发送 HTTP 请求

response = HTTParty.get(url, headers: { "Proxy-Host" => proxy_host, "Proxy-Port" => proxy_port })

# 使用 Nokogiri 解析 HTML

doc = Nokogiri::HTML(response.body)

# 获取网页中的所有商品链接

links = doc.css(".product-item")

links.each do |link|

puts link["href"]

end

```

上述代码的工作步骤如下：

1. 首先，我们引入了 Nokogiri 和 HTTParty 库。

2. 然后，我们设置了代理信息，包括代理服务器的主机名和端口号。

3. 接下来，我们定义了要爬取的 URL，即 1688 网站的首页。

4. 使用 HTTParty 发送 HTTP 请求，并设置代理信息。

5. 使用 Nokogiri 解析返回的 HTML。

6. 使用 CSS 选择器获取网页中的所有商品链接。

7. 最后，遍历所有链接，并打印出每个链接的 URL。

注意：在实际使用中，可能需要处理各种异常情况，例如网络连接错误、HTTP 请求错误等。

ITPub博客

使用 Ruby 的 Nokogiri 库来解析