前置合规声明,以 Python 代码演示为主;本文仅做 技术原理学习,不鼓励商用爬取、不绕过平台风控,优先推荐微信官方开放 API。
视频号小店生态持续扩张,大量卖家入驻视频号橱窗、视频号小店。在行业调研、竞品分析场景下,开发者经常需要批量获取店铺主页 对外公开展示的非敏感信息:店铺名称、店铺简介、主营类目、认证主体类型、店铺主页链接、商品标题、商品标价等公开内容。
市场上所谓 “视频号商家采集软件、视频号卖家采集工具”,底层本质是自动化页面解析程序。但很多同类工具存在严重合规缺陷:直接抓取联系电话、突破登录态、高频并发、绕过验证码风控,极易触犯《个人信息保护法》、平台用户协议,甚至触及刑法中非法获取计算机信息系统数据相关条款。
本文目标:
⚠️ 重要前置声明(ITPUB 发布必须保留)
架构流程:
店铺链接列表 -> 浏览器上下文加载页面 -> 等待DOM渲染完成 -> 提取公开字段 -> 清洗过滤敏感字段 -> 内存去重 -> 写入CSV文件
对比:requests 静态爬虫适合静态页面;视频号小店页面大量 JS 异步渲染,直接 requests 拿到的是空白骨架,因此选用 Playwright。
pip install playwright beautifulsoup4 pandas playwright install chromium
四、完整可运行代码示例
import time
import csv
import logging
from bs4 import BeautifulSoup
from playwright.sync_api import sync_playwright, Page
from typing import List, Dict, Set
# -------------------------- 配置区(可自行修改) --------------------------
# 待采集的视频号小店主页链接列表
SHOP_URL_LIST = [
"https://channels.weixin.qq.com/xxx/shop",
"https://channels.weixin.qq.com/yyy/shop"
]
# 导出文件路径
OUTPUT_CSV = "video_channel_shop_public_info.csv"
# 请求间隔,单位秒,建议≥3,降低风控风险
SLEEP_MIN = 3
SLEEP_MAX = 6
# 日志配置
logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
# 去重集合,以店铺url作为唯一key
seen_url: Set[str] = set()
# 字段定义,只采集公开非敏感字段
CSV_HEADER = [
"shop_url",
"shop_name",
"shop_desc",
"shop_type",
"main_category",
"public_note"
]
def extract_shop_info(html: str, shop_url: str) -> Dict:
"""
解析页面HTML,提取公开店铺信息
【重点】本函数不提取手机号、微信等个人联系信息
"""
soup = BeautifulSoup(html, "html.parser")
info = {
"shop_url": shop_url,
"shop_name": "",
"shop_desc": "",
"shop_type": "",
"main_category": "",
"public_note": ""
}
# 下面是选择器示例,视频号前端class会持续迭代,需要根据页面更新调整selector
try:
name_tag = soup.select_one("div.shop-name")
if name_tag:
info["shop_name"] = name_tag.get_text(strip=True)
desc_tag = soup.select_one("div.shop-desc")
if desc_tag:
info["shop_desc"] = desc_tag.get_text(strip=True)
type_tag = soup.select_one("div.auth-type")
if type_tag:
info["shop_type"] = type_tag.get_text(strip=True)
category_tag = soup.select_one("div.category-name")
if category_tag:
info["main_category"] = category_tag.get_text(strip=True)
except Exception as e:
logging.warning(f"解析DOM异常: {e}")
return info
def crawl_single_shop(page: Page, shop_url: str) -> Dict | None:
"""访问单个店铺页面,渲染后提取信息"""
try:
logging.info(f"正在访问:{shop_url}")
page.goto(shop_url, timeout=30000)
# 等待页面主体渲染,根据网络情况调整
page.wait_for_timeout(2000)
html = page.content()
shop_data = extract_shop_info(html, shop_url)
return shop_data
except Exception as err:
logging.error(f"访问店铺失败 {shop_url}, err: {err}")
return None
def batch_crawl(url_list: List[str]) -> List[Dict]:
"""批量采集入口"""
result_list = []
with sync_playwright() as p:
browser = p.chromium.launch(
headless=False, # 学习调试建议关闭无头,降低特征
args=[
"--disable-blink-features=AutomationControlled",
"--no-sandbox"
]
)
context = browser.new_context(
user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
)
page = context.new_page()
for url in url_list:
if url in seen_url:
logging.info(f"跳过重复链接:{url}")
continue
shop_info = crawl_single_shop(page, url)
if shop_info and shop_info["shop_name"]:
result_list.append(shop_info)
seen_url.add(url)
# 随机休眠限流
sleep_sec = SLEEP_MIN + (SLEEP_MAX - SLEEP_MIN) * (time.time() % 1)
time.sleep(sleep_sec)
browser.close()
return result_list
def export_to_csv(data_list: List[Dict], filepath: str):
"""导出到CSV文件,Excel可直接打开"""
if not data_list:
logging.warning("无数据,跳过导出")
return
with open(filepath, "w", encoding="utf-8-sig", newline="") as f:
writer = csv.DictWriter(f, fieldnames=CSV_HEADER)
writer.writeheader()
writer.writerows(data_list)
logging.info(f"数据导出完成,文件路径:{filepath},共{len(data_list)}条记录")
if __name__ == "__main__":
data = batch_crawl(SHOP_URL_LIST)
export_to_csv(data, OUTPUT_CSV)
select_one("div.shop-name")这类选择器仅作为示例,实际使用时需要 F12 重新审查页面,更新 CSS 选择器;seen_url持久化到 json 文件,实现断点续采,避免重复采集。import json STATE_FILE = "crawl_state.json" def load_seen(): try: with open(STATE_FILE,"r",encoding="utf-8") as f: return set(json.load(f)) except: return set() def save_seen(seen_set:Set): with open(STATE_FILE,"w",encoding="utf-8") as f: json.dump(list(seen_set), f, ensure_ascii=False, indent=2)
很多开发者会直接选择爬虫工具,但是从长期稳定、合规角度,官方 API 才是最优解:
表格
| 方案 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| Playwright 页面爬虫 Demo | 上手快、不需要申请权限、可以直接读取公开主页 | DOM 频繁改版、风控严格、容易封号、合规风险高 | 本地学习、少量样本调研 |
| 微信视频号小店开放 API channels_ec | 稳定、接口有版本管理、合规、数据结构化 | 需要企业资质、申请接口权限、需要商家授权 | 正规商业项目、长期业务系统 |
微信开放平台提供视频号小店基础信息接口,在商家授权之后,可以安全获取店铺基础经营信息,不存在爬虫法律风险,生产环境优先走这条路线微信开放社...。
市面上大量宣传的 “视频号商家采集软件、视频号卖家采集工具”,绝大多数产品是把上面这套爬虫逻辑封装成 GUI,增加导入链接、一键导出、代理 IP、多线程等功能, 但并没有解决底层合规风险。
从技术角度,页面解析只是一个普通的自动化技术;但从法律和平台规则角度, 采集行为的边界远比代码本身重要。对于开发者来说,技术学习可以研究页面渲染、DOM 解析、数据清洗;但商用场景,优先对接微信开放平台的官方接口,走授权流程获取数据,才是可持续、低风险的方案。
爬虫技术本身无罪,但越界采集、滥用个人信息,是每一个技术从业者必须守住的底线。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70050905/viewspace-3188686/ ,如需转载,请注明出处,否则将追究法律责任。