说明
1、从代理网站上爬取IP，迭代测试是否可以使用，建立自己的代理IP池，随时更新抓取网站数据。
2、从IP池中获取IP，即从爬虫程序中的文件中随机获取代理IP，读取所有行并返回列表。
实例
package main
import (
"fmt"
"io/ioutil"
"log"
"net/http"
"net/url"
"time"
)
func main() {
proxy, err := url.Parse("http://代理ip:代理端口")
if err != nil {
log.Fatal(err)
}
httpClient := &http.Client{
Timeout: time.Second * 10,
Transport: &http.Transport{
Proxy: http.ProxyURL(proxy),
},
}
res, err := httpClient.Get("https://www.baidu.com")
if err != nil {
log.Println(err)
return
}
defer res.Body.Close()
if res.StatusCode != http.StatusOK {
log.Println(err)
return
}
c, _ := ioutil.ReadAll(res.Body)
fmt.Println(string(c))
}
以上就是python爬虫ip代理池的使用，推荐大家使用品易http代理ip，千万ip资源百兆带宽，保证爬虫数据传输安全。提供高匿稳定代理ip服务，方便快捷获取网站数据，流量免费测试正在进行！更多常见问题解决：ip
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/2231/viewspace-2828789/ ，如需转载，请注明出处，否则将追究法律责任。
上一篇：
爬虫使用动态ip代理的原因
下一篇：
python局部变量的生命周期理解
请登录后发表评论
登录
全部评论
