在使用 Python 发送 HTTP 请求时，处理复杂的请求头可以通过设置自定义的 headers 来实现。Python 的 requests 库是处理 HTTP 请求的常用工具，它允许我们灵活地设置请求头、传递参数、处理 cookies 等复杂需求。
处理复杂请求头的步骤

构建请求头：将需要的所有 HTTP 头信息放在一个字典中。
发送请求时传递头信息：在 requests 的 get()、post() 等方法中通过 headers 参数传递请求头。

示例代码

假设我们需要发送一个带有复杂请求头的 GET 请求，头信息包括 User-Agent、Authorization、Referer 等。

python

import requests

# 自定义复杂请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.9',
    'Accept-Encoding': 'gzip, deflate, br',
    'Connection': 'keep-alive',
    'Referer': 'https://www.example.com/',
    'Authorization': 'Bearer YOUR_TOKEN_HERE',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': '1',
    'Content-Type': 'application/json'
}

# 发送 GET 请求
url = 'https://www.example.com/some_endpoint'
response = requests.get(url, headers=headers)

# 查看响应内容
print(response.status_code)
print(response.text)

常见的请求头字段

    User-Agent: 告诉服务器发起请求的客户端是哪个（浏览器、设备类型等）。某些网站会基于这个字段来区分爬虫和真实用户。
    Authorization: 用于认证，比如 Bearer Token 或 Basic Auth。
    Referer: 告诉服务器请求是从哪个页面跳转来的。
    Accept: 指定客户端可以处理的 MIME 类型（如 text/html 或 application/json）。
    Accept-Encoding: 指定客户端能处理的压缩方式，比如 gzip。
    Cache-Control: 用于管理缓存策略。
    Content-Type: 指定请求体的格式，常见值为 application/json 或 application/x-www-form-urlencoded。

示例：带有复杂认证的 POST 请求

如果你需要发送带有认证信息的 POST 请求，并且请求头中还要设置 Content-Type 和其他复杂信息，可以像下面这样做：

python

import requests
import json

# 构造请求头
headers = {
    'Authorization': 'Bearer YOUR_ACCESS_TOKEN',
    'Content-Type': 'application/json',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Accept': 'application/json',
    'X-Custom-Header': 'custom_value' # 自定义头字段
}

# 构造 POST 请求的数据
data = {
'key1': 'value1',
'key2': 'value2'
}

# 发送 POST 请求
url = 'https://api.example.com/data'
response = requests.post(url, headers=headers, data=json.dumps(data))

# 检查响应
print(response.status_code)
print(response.json())

使用 requests.Session 进行会话管理

如果你需要多次发送请求，或者管理 cookies、保持同一个会话，可以使用 requests.Session()，这样可以在多次请求中保持一致的请求头和其他上下文信息。

python

import requests

# 创建一个会话对象
session = requests.Session()

# 设置会话的全局请求头
session.headers.update({
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Authorization': 'Bearer YOUR_TOKEN',
    'Accept': 'application/json',
    'Content-Type': 'application/json'
})

# 使用会话对象发送多个请求
url1 = 'https://api.example.com/endpoint1'
url2 = 'https://api.example.com/endpoint2'

response1 = session.get(url1)
response2 = session.post(url2, data='{"key":"value"}')

print(response1.status_code)
print(response2.status_code)

处理动态 Cookies

某些网站可能需要动态生成或设置 cookies，这时可以使用 requests.Session 自动管理 cookies，或者手动将 cookies 添加到请求头中。

python

import requests

# 发送带有 Cookies 的请求
url = 'https://www.example.com'
cookies = {'session_id': '1234567890'}

response = requests.get(url, headers=headers, cookies=cookies)

print(response.status_code)
print(response.text)

总结

处理复杂的请求头通常只是构建一个字典，将需要的字段添加进去，并在发送请求时通过 headers 参数传递。通过 requests.Session() 可以管理持久化的会话，减少重复构建请求头的麻烦。

这种方法灵活性很高，适用于绝大多数的 HTTP 请求场景。

ITPub博客

python如何处理复杂的请求头

最新文章