在Python中处理大量HTTP请求时，可以采取多种优化方式，包括异步请求、多线程、多进程等，以提高请求处理的效率和速度。以下是一些常用方法和具体代码示例：
1. 使用异步请求（Asyncio + Aiohttp）

asyncio 和 aiohttp 是Python中的异步库，可以在发送HTTP请求时不阻塞程序运行，提高处理效率。

python

import asyncio
import aiohttp

async def fetch(session, url):
async with session.get(url) as response:
return await response.text()

async def fetch_all(urls):
    async with aiohttp.ClientSession() as session:
        tasks = [fetch(session, url) for url in urls]
        return await asyncio.gather(*tasks)

urls = ["https://example.com" for _ in range(1000)] # 假设有1000个URL
results = asyncio.run(fetch_all(urls))
print(results)

在上述代码中，aiohttp 能让程序在等待HTTP响应时处理其他请求，从而大幅减少总请求时间，非常适合高并发的场景。
2. 使用多线程（ThreadPoolExecutor）

多线程适合I/O密集型任务，比如HTTP请求，可以用 concurrent.futures 中的 ThreadPoolExecutor 来管理线程池。

python

from concurrent.futures import ThreadPoolExecutor, as_completed
import requests

def fetch(url):
response = requests.get(url)
return response.text

urls = ["https://example.com" for _ in range(1000)]
results = []

with ThreadPoolExecutor(max_workers=20) as executor:
    futures = [executor.submit(fetch, url) for url in urls]
    for future in as_completed(futures):
        results.append(future.result())

print(results)

在多线程中，每个线程独立处理一个请求，这样可以在CPU空闲时同时发送多个请求，加快请求的整体完成速度。
3. 使用多进程（ProcessPoolExecutor）

对于CPU密集型的请求处理（例如解密、解压等），多进程可能会比多线程更高效。concurrent.futures 中的 ProcessPoolExecutor 可用于创建多个进程。

python

from concurrent.futures import ProcessPoolExecutor, as_completed
import requests

def fetch(url):
response = requests.get(url)
return response.text

urls = ["https://example.com" for _ in range(1000)]
results = []

with ProcessPoolExecutor(max_workers=10) as executor:
    futures = [executor.submit(fetch, url) for url in urls]
    for future in as_completed(futures):
        results.append(future.result())

print(results)

多进程适合在CPU密集型任务较多时使用，因为它能够利用多个CPU核心来并行处理任务。
4. 使用请求速率限制和批处理

处理大量请求时，为了避免触发目标服务器的速率限制或被封禁，可以对请求进行批处理和限制请求速率：

python

import time
import requests

def fetch(url):
response = requests.get(url)
return response.text

urls = ["https://example.com" for _ in range(1000)]
results = []

batch_size = 20
for i in range(0, len(urls), batch_size):
    batch = urls[i:i + batch_size]
    for url in batch:
        results.append(fetch(url))
    time.sleep(1) # 每发送一批请求后暂停1秒

print(results)

这样可以控制每秒请求的数量，避免短时间内发送过多请求而被目标服务器拒绝。
5. 使用 grequests 实现异步请求

grequests 是基于 requests 和 gevent 的异步请求库，可以非常方便地批量发送请求。

python

import grequests

urls = ["https://example.com" for _ in range(1000)]
requests = (grequests.get(url) for url in urls)
responses = grequests.map(requests)

for response in responses:
print(response.text)

grequests 是对 requests 的封装，允许异步处理多个请求，在网络I/O操作时不会阻塞程序，非常适合高并发请求的场景。
6. 使用 httpx 库进行异步批量请求

httpx 是一个现代化的HTTP客户端，支持同步和异步请求，兼容 requests 语法，非常适合在异步环境下处理大量HTTP请求。

python

import asyncio
import httpx

async def fetch(client, url):
response = await client.get(url)
return response.text

async def fetch_all(urls):
    async with httpx.AsyncClient() as client:
        tasks = [fetch(client, url) for url in urls]
        return await asyncio.gather(*tasks)

urls = ["https://example.com" for _ in range(1000)]
results = asyncio.run(fetch_all(urls))
print(results)

7. 使用请求重试策略

在处理大量HTTP请求时，可能会遇到临时的网络错误或速率限制。可以通过重试策略来确保请求完成，避免因短暂的错误导致失败。

python

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

def fetch(url):
    session = requests.Session()
    retry = Retry(total=5, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504])
    adapter = HTTPAdapter(max_retries=retry)
    session.mount('http://', adapter)
    session.mount('https://', adapter)

    response = session.get(url)
    return response.text

urls = ["https://example.com" for _ in range(1000)]
results = [fetch(url) for url in urls]
print(results)

这种重试策略可在请求遇到错误时自动重试，且 backoff_factor 可以使重试的间隔时间逐渐增加，避免服务器压力过大。
总结

    异步请求（如 asyncio + aiohttp）适合处理I/O密集的高并发请求。
    多线程适合CPU较空闲时的I/O密集型任务。
    多进程更适合CPU密集型任务。
    速率限制和批处理避免被目标服务器的限流策略影响。
    重试机制避免短暂错误导致的请求失败。

根据具体情况组合使用这些方法，可以显著提高Python在处理大量HTTP请求时的效率。

ITPub博客

python如何处理大量的HTTP请求

最新文章