在进行爬虫开发时，为避免被目标网站的反爬虫机制识别或减轻服务器压力，常用的请求延迟策略可以通过 Python 的 time.sleep() 函数或者 random.uniform() 等函数随机生成延迟时间来实现。这些方法都可以帮助控制请求频率，使爬虫行为更加“友好”。

下面是几种实现请求延迟的常见方法：
方法 1：固定时间延迟

使用 time.sleep() 设置固定的延迟时间。例如，每次请求之间延迟 1 秒：

python

import time
import requests

url = "https://example.com"
for i in range(10): # 示例：假设有10个请求
    response = requests.get(url)
    print(f"Request {i+1} status:", response.status_code)
    time.sleep(1) # 延迟1秒

这种方法简单，但可能显得不够“自然”。真实的用户行为通常并不是每次间隔时间都完全一致，因此有时候我们可以选择随机延迟。
方法 2：随机时间延迟

使用 random.uniform() 来生成随机的延迟时间，使请求间隔时间看起来更像是自然的用户行为：

python

import time
import random
import requests

url = "https://example.com"
for i in range(10):
    response = requests.get(url)
    print(f"Request {i+1} status:", response.status_code)
    delay = random.uniform(1, 3) # 生成1到3秒之间的随机浮点数
    print(f"Delaying for {delay:.2f} seconds")
    time.sleep(delay)

这样每次请求的延迟在 1 到 3 秒之间随机变化，更能模拟真实用户行为。
方法 3：指数退避策略（Exponential Backoff）

这种策略通常用于处理失败重试的请求。每次失败后，延迟时间指数级增长。可以在一些情况下避免频繁请求导致的 IP 封禁。

python

import time
import requests

url = "https://example.com"
max_attempts = 5
base_delay = 1 # 基础延迟时间

for attempt in range(max_attempts):
    try:
        response = requests.get(url)
        print("Request successful:", response.status_code)
        break # 请求成功，跳出循环
    except requests.RequestException as e:
        print(f"Attempt {attempt + 1} failed: {e}")
        delay = base_delay * (2 ** attempt) # 指数退避
        print(f"Retrying in {delay} seconds...")
        time.sleep(delay)

在这种方法中，每次失败后的等待时间是上一次的 2 倍，这样随着失败次数的增加，延迟时间也会相应增加，直至达到 max_attempts。
方法 4：使用第三方库 tenacity 实现带延迟的重试

可以用 tenacity 库简化带有延迟的重试逻辑。这个库提供了丰富的重试和延迟策略，可以自动处理请求失败后的延迟和重试。

安装 tenacity：

bash

pip install tenacity

使用示例：

python

import requests
from tenacity import retry, wait_exponential, stop_after_attempt

@retry(wait=wait_exponential(multiplier=1, min=1, max=10), stop=stop_after_attempt(5))
def fetch_url(url):
    response = requests.get(url)
    print("Request successful:", response.status_code)
    return response

# 执行请求
url = "https://example.com"
try:
response = fetch_url(url)
except Exception as e:
print("Failed after multiple attempts:", e)

总结

以上几种延迟策略可以根据实际需要选择使用：

如果只是简单延迟，可以选择固定延迟或随机延迟。
如果处理失败重试，则可以选择指数退避策略或 tenacity 库实现更复杂的重试策略。

ITPub博客

python如何实现请求延迟策略

最新文章