一、获取前的准备：官方 API 接入流程

1. 平台认证与权限申请

• 注册淘宝开放平台账号：访问 open.taobao.com，完成个人 / 企业认证（企业需营业执照）
• 创建应用：控制台→应用管理→创建应用（选择 "网站应用" 或 "服务器应用"），获取 App Key和 App Secret（核心凭证）
• 申请接口权限：
  • 基础详情： taobao.item.get（单个商品详情）
  • 批量获取： taobao.item_get_batch（一次最多 50 个商品 ID，需单独申请）
  • 搜索获取 ID： taobao.items.search（按关键词 / 类目搜索商品）
  • 店铺商品： taobao.items.onsale.get（获取店铺在售商品列表）

2. 商品 ID 获取策略（批量采集前提）

二、核心实现：批量获取商品详情的技术方案

1. 接口选择与调用方式

# 伪代码示例def batch_get_items(app_key, app_secret, item_ids):
    results = []
    for item_id in item_ids:
        # 构造请求参数
        params = {
            'method': 'taobao.item.get',
            'app_key': app_key,
            'num_iid': item_id,
            'fields': 'num_iid,title,price,pic_url,desc,sales'  # 指定返回字段
        }
        # 生成签名
        params['sign'] = generate_sign(params, app_secret)
        # 发送请求
        response = requests.get('https://eco.taobao.com/router/rest', params=params)
        results.append(response.json())
        time.sleep(0.5)  # 控制频率，避免触发风控
    return results

# 伪代码示例：taobao.item_get_batchdef batch_get_items(app_key, app_secret, item_ids):
    # 分批处理（每批最多50个）
    for i in range(0, len(item_ids), 50):
        batch_ids = item_ids[i:i+50]
        params = {
            'method': 'taobao.item_get_batch',
            'app_key': app_key,
            'num_iids': ','.join(batch_ids),  # 商品ID用逗号分隔
            'fields': 'num_iid,title,price,pic_url,desc,sales'
        }
        params['sign'] = generate_sign(params, app_secret)
        response = requests.get('https://eco.taobao.com/router/rest', params=params)
        yield response.json()  # 返回分批结果

2. 性能优化关键技术

• 使用 aiohttp替代 requests，配合 asyncio实现异步并发
• 设置信号量控制并发数（建议 30-50，避免触发平台限流）
• 随机延迟（0.3-0.8 秒）避免被识别为爬虫

• 只请求必要字段： fields='num_iid,title,price,pic_url,skus'，减少 65% 带宽消耗
• 排除不需要的字段（如评价详情、物流信息），提升响应速度

• 对热门 / 高频访问商品使用 Redis 缓存（设置 1 小时过期），减少重复调用

三、数据解析与结构化处理

1. 响应数据解析流程

原始JSON → 基础校验 → 字段提取 → 结构化存储

# 从返回结果提取核心信息def parse_item_data(raw_item):
    return {
        "商品ID": raw_item.get("num_iid", ""),
        "标题": raw_item.get("title", ""),
        "价格": raw_item.get("price", 0),
        "促销价": raw_item.get("promotion_price", 0),
        "主图": raw_item.get("pic_url", ""),
        "销量": raw_item.get("volume", 0),
        "SKU信息": [sku.get("price", 0) for sku in raw_item.get("sku", {}).get("sku_list", [])]
    }

2. 特殊情况处理

• HTML 描述处理：商品描述（desc 字段）含 HTML 标签，需用 BeautifulSoup解析提取纯文本或图片 URL
• 嵌套数据处理：
  plaintext

  # 解析多级嵌套的卖家信息
  seller_info = raw_item.get("seller", {})
  return {
      "店铺名称": seller_info.get("shop_name", ""),
      "店铺ID": seller_info.get("user_id", "")
  }

四、批量采集完整工作流（最佳实践）

Step 1：准备阶段

• 完成 API 权限申请和凭证获取
• 确定目标商品 ID 列表（通过搜索 / 店铺获取或手动导入）
• 初始化日志 / 监控系统（记录成功 / 失败案例）

Step 2：批量获取详情（核心环节）

商品ID列表 → 分批(50个/批) → 调用接口 → 数据解析 → 错误处理 → 存储

Step 3：错误处理与重试机制（关键保障）

Step 4：数据存储与后续应用

• 结构化存储：存入 MySQL/MongoDB 数据库或导出 CSV/Excel
• 增量更新：记录已采集商品的最后更新时间，下次只采集更新商品
• 业务应用：
  • 商品信息同步至其他平台
  • 竞品监控（价格 / 库存 / 销量变化）
  • 数据分析与选品参考
  • 商品信息管理系统（PIM）更新

五、关键注意事项（避免踩坑）

1.  平台规则遵守

• 禁止 未经授权的数据抓取（必须使用官方 API，禁用爬虫）
• 商品价格等信息 仅限自用，不得直接倒卖数据获利
• 遵循 频率限制：基础接口 QPS≤2-5，批量接口≤1，违规会触发风控（IP 封禁 / 接口禁用）

2.  性能与稳定性优化建议

• 控制并发数在 30 以下（建议 10-20）
• 批次大小 **≤40**（为 item_get_batch上限 50 预留安全空间）
• 每请求间添加 随机延迟（0.3-1 秒）
• 使用 异步 + 信号量控制（提升效率 3-5 倍）

• 分时段采集（避开 API 高峰，如 11:00-13:00、20:00-22:00）
• 对热门商品使用缓存（Redis/Memcached）
• 监控 API 响应时间，动态调整请求策略

六、总结：批量采集的核心实施路径

• 优先使用官方 API（合规稳定），禁用爬虫
• 采用批量接口 + 异步并发（提升效率 10 倍 +）
• 严格控制频率（QPS<5），添加随机延迟
• 按需请求字段，减少数据传输量
• 实现完善的错误处理与重试机制

附：淘宝商品详情接口返回核心字段