在 Python 中，网络请求失败问题可以通过多种方式来处理，常用的方式包括增加重试机制、超时设置、异常捕获和代理使用。下面是一些具体的做法：
1. 设置超时

网络请求可能因为等待响应过久而失败，设置超时限制可以避免程序长时间卡住。使用 requests 库时，可以通过 timeout 参数设置超时限制（以秒为单位）。

python

import requests

try:
    response = requests.get("https://example.com", timeout=5) # 设置超时时间为5秒
    response.raise_for_status() # 检查请求是否成功
except requests.Timeout:
    print("请求超时")
except requests.RequestException as e:
    print(f"请求失败: {e}")

2. 重试机制

有时候请求会因为短暂的网络问题而失败，这种情况可以通过重试来解决。requests 库本身没有内置重试机制，可以结合 urllib3 或 tenacity 等库来实现。

使用 urllib3 的 Retry 类：

python

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

session = requests.Session()
retries = Retry(total=5, backoff_factor=1, status_forcelist=[500, 502, 503, 504])
session.mount("https://", HTTPAdapter(max_retries=retries))

try:
    response = session.get("https://example.com")
    print(response.text)
except requests.RequestException as e:
    print(f"请求失败: {e}")

3. 捕获并处理异常

在发出请求时，捕获各种异常可以帮助识别错误原因并进行处理。常见的异常有 requests.Timeout、requests.ConnectionError、requests.HTTPError 等。

python

try:
    response = requests.get("https://example.com", timeout=5)
    response.raise_for_status()
except requests.Timeout:
    print("请求超时")
except requests.ConnectionError:
    print("网络连接错误")
except requests.HTTPError as e:
    print(f"HTTP 错误: {e}")
except requests.RequestException as e:
    print(f"请求异常: {e}")

4. 使用代理

如果请求失败可能是因为 IP 被限制，可以尝试使用代理。代理可以使用 proxies 参数指定：

python

proxies = {
"http": "http://your_proxy.com:port",
"https": "https://your_proxy.com:port"
}

try:
    response = requests.get("https://example.com", proxies=proxies, timeout=5)
    print(response.text)
except requests.RequestException as e:
    print(f"请求失败: {e}")

5. 设置用户代理和伪装请求

有时候请求可能被目标服务器拒绝，可以尝试通过设置 User-Agent 和其他 headers 伪装请求：

python

headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36"
}

try:
    response = requests.get("https://example.com", headers=headers, timeout=5)
    print(response.text)
except requests.RequestException as e:
    print(f"请求失败: {e}")

6. 使用 asyncio 进行异步请求

对于大量请求，可以使用异步库（如 aiohttp）以非阻塞方式发送请求。异步请求可以提高并发量并减少请求失败率：

python

import aiohttp
import asyncio

async def fetch(url):
    async with aiohttp.ClientSession() as session:
        try:
            async with session.get(url, timeout=5) as response:
                return await response.text()
        except aiohttp.ClientError as e:
            print(f"请求失败: {e}")

async def main():
    urls = ["https://example.com"] * 10
    tasks = [fetch(url) for url in urls]
    await asyncio.gather(*tasks)

asyncio.run(main())

这些方法可以有效提高请求的成功率和稳定性。

ITPub博客

python如何解决网络请求失败问题

最新文章