1、Selenium的代理使用

（1）使用的是PhantomJS

from selenium import webdriver
 
service_args = [
    '--proxy=127.0.0.1:9743',
    '--proxy-type=http',
    #'--proxy-auth=username:password' #带认证代理
]
 
browser = webdriver.PhantomJS(service_args=service_args)
browser.get('http://httpbin.org/get')
print(browser.page_source)

（2）使用的是Chrome

from selenium import webdriver
 
proxy = '127.0.0.1:9743'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://' + proxy)
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('http://httpbin.org/get')

2、urllib的代理设置

from urllib.error import URLError
from urllib.request import ProxyHandler, build_opener
 
proxy = '127.0.0.1:8888'
#需要认证的代理
#proxy = 'username:password@127.0.0.1:8888'
 
#使用ProxyHandler设置代理
proxy_handler = ProxyHandler({
    'http': 'http://' + proxy,
    'https': 'https://' + proxy
})
#传入参数创建Opener对象
opener = build_opener(proxy_handler)
try:
    response = opener.open('http://httpbin.org/get')
    print(response.read().decode('utf-8'))
except URLError as e:
print(e.reason)

3、在Scrapy使用代理

#在Scrapy的Downloader Middleware中间件里
    ...
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://127.0.0.1:9743'
...

以上就是python爬虫代理设置的方法，代码和方法都分享给了大家，有兴趣的可以进行练习。爬虫时建议结合代理IP，如果大家想测试使用下，可以尝试品易云http代理ip，免费测试包含各种类ip资源，无限调用IP量！更多Python学习指路：python爬虫

推荐操作环境：windows7系统、Python 3.9.1，DELL G3电脑。