ITPub博客

首页 > 应用开发 > Javascript > 视频号商家采集软件实操:视频号卖家公开电话信息批量采集与导出

视频号商家采集软件实操:视频号卖家公开电话信息批量采集与导出

原创 Javascript 作者:1440030514 时间:2026-11-12 11:44:02 0 删除 编辑

前置合规声明,以 Python 代码演示为主;本文仅做 技术原理学习,不鼓励商用爬取、不绕过平台风控,优先推荐微信官方开放 API。

一、需求分析

视频号小店生态持续扩张,大量卖家入驻视频号橱窗、视频号小店。在行业调研、竞品分析场景下,开发者经常需要批量获取店铺主页 对外公开展示的非敏感信息:店铺名称、店铺简介、主营类目、认证主体类型、店铺主页链接、商品标题、商品标价等公开内容。

市场上所谓 “视频号商家采集软件、视频号卖家采集工具”,底层本质是自动化页面解析程序。但很多同类工具存在严重合规缺陷:直接抓取联系电话、突破登录态、高频并发、绕过验证码风控,极易触犯《个人信息保护法》、平台用户协议,甚至触及刑法中非法获取计算机信息系统数据相关条款。

本文目标:

  1. 梳理采集方案的合规边界;
  2. 基于 Playwright 实现 低频率、仅解析公开页面的采集 Demo;
  3. 实现数据清洗、去重、CSV 批量导出;
  4. 对比逆向爬虫方案与官方开放 API 方案的优劣。

⚠️ 重要前置声明(ITPUB 发布必须保留)

  1. 本代码仅用于技术学习、科研研究, 禁止用于批量抓取商家手机号、私人联系方式;代码中已做过滤,不提取手机号等个人信息;
  2. 执行前必须阅读目标站点 robots.txt,遵守 Robots 协议,控制请求间隔,禁止高并发压测服务器;
  3. 视频号平台服务协议禁止未经许可的自动化爬虫抓取,优先使用微信开放平台 channels_ec 官方 API;
  4. 任何抓取到的数据,不得用于骚扰营销、倒卖信息、商业外呼,否则需要自行承担民事、行政乃至刑事责任;
  5. 公开信息不等于可以随意处理,《个人信息保护法》明确:即使信息已经公开,处理时依然需要遵循最小必要原则中国政法大...。

二、技术架构选型

  • 语言:Python3.10+
  • 页面渲染:Playwright(解决 JS 动态渲染页面,视频号小店页面大多前端渲染,requests 直接拿不到 DOM)
  • 解析:BeautifulSoup4
  • 存储导出:csv、pandas
  • 去重机制:基于店铺主页 URL 做唯一键去重
  • 限流策略:固定 sleep 间隔,随机 UA,禁用无头特征(降低风控识别)

架构流程: 店铺链接列表 -> 浏览器上下文加载页面 -> 等待DOM渲染完成 -> 提取公开字段 -> 清洗过滤敏感字段 -> 内存去重 -> 写入CSV文件

对比:requests 静态爬虫适合静态页面;视频号小店页面大量 JS 异步渲染,直接 requests 拿到的是空白骨架,因此选用 Playwright。

三、环境依赖安装

pip install playwright beautifulsoup4 pandas
playwright install chromium

四、完整可运行代码示例

import time
import csv
import logging
from bs4 import BeautifulSoup
from playwright.sync_api import sync_playwright, Page
from typing import List, Dict, Set
# -------------------------- 配置区(可自行修改) --------------------------
# 待采集的视频号小店主页链接列表
SHOP_URL_LIST = [
    "https://channels.weixin.qq.com/xxx/shop",
    "https://channels.weixin.qq.com/yyy/shop"
]
# 导出文件路径
OUTPUT_CSV = "video_channel_shop_public_info.csv"
# 请求间隔,单位秒,建议≥3,降低风控风险
SLEEP_MIN = 3
SLEEP_MAX = 6
# 日志配置
logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
# 去重集合,以店铺url作为唯一key
seen_url: Set[str] = set()
# 字段定义,只采集公开非敏感字段
CSV_HEADER = [
    "shop_url",
    "shop_name",
    "shop_desc",
    "shop_type",
    "main_category",
    "public_note"
]
def extract_shop_info(html: str, shop_url: str) -> Dict:
    """
    解析页面HTML,提取公开店铺信息
    【重点】本函数不提取手机号、微信等个人联系信息
    """
    soup = BeautifulSoup(html, "html.parser")
    info = {
        "shop_url": shop_url,
        "shop_name": "",
        "shop_desc": "",
        "shop_type": "",
        "main_category": "",
        "public_note": ""
    }
    # 下面是选择器示例,视频号前端class会持续迭代,需要根据页面更新调整selector
    try:
        name_tag = soup.select_one("div.shop-name")
        if name_tag:
            info["shop_name"] = name_tag.get_text(strip=True)
        desc_tag = soup.select_one("div.shop-desc")
        if desc_tag:
            info["shop_desc"] = desc_tag.get_text(strip=True)
        type_tag = soup.select_one("div.auth-type")
        if type_tag:
            info["shop_type"] = type_tag.get_text(strip=True)
        category_tag = soup.select_one("div.category-name")
        if category_tag:
            info["main_category"] = category_tag.get_text(strip=True)
    except Exception as e:
        logging.warning(f"解析DOM异常: {e}")
    return info
def crawl_single_shop(page: Page, shop_url: str) -> Dict | None:
    """访问单个店铺页面,渲染后提取信息"""
    try:
        logging.info(f"正在访问:{shop_url}")
        page.goto(shop_url, timeout=30000)
        # 等待页面主体渲染,根据网络情况调整
        page.wait_for_timeout(2000)
        html = page.content()
        shop_data = extract_shop_info(html, shop_url)
        return shop_data
    except Exception as err:
        logging.error(f"访问店铺失败 {shop_url}, err: {err}")
        return None
def batch_crawl(url_list: List[str]) -> List[Dict]:
    """批量采集入口"""
    result_list = []
    with sync_playwright() as p:
        browser = p.chromium.launch(
            headless=False,  # 学习调试建议关闭无头,降低特征
            args=[
                "--disable-blink-features=AutomationControlled",
                "--no-sandbox"
            ]
        )
        context = browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
        )
        page = context.new_page()
        for url in url_list:
            if url in seen_url:
                logging.info(f"跳过重复链接:{url}")
                continue
            shop_info = crawl_single_shop(page, url)
            if shop_info and shop_info["shop_name"]:
                result_list.append(shop_info)
                seen_url.add(url)
            # 随机休眠限流
            sleep_sec = SLEEP_MIN + (SLEEP_MAX - SLEEP_MIN) * (time.time() % 1)
            time.sleep(sleep_sec)
        browser.close()
    return result_list
def export_to_csv(data_list: List[Dict], filepath: str):
    """导出到CSV文件,Excel可直接打开"""
    if not data_list:
        logging.warning("无数据,跳过导出")
        return
    with open(filepath, "w", encoding="utf-8-sig", newline="") as f:
        writer = csv.DictWriter(f, fieldnames=CSV_HEADER)
        writer.writeheader()
        writer.writerows(data_list)
    logging.info(f"数据导出完成,文件路径:{filepath},共{len(data_list)}条记录")
if __name__ == "__main__":
    data = batch_crawl(SHOP_URL_LIST)
    export_to_csv(data, OUTPUT_CSV)

五、代码说明与适配改造要点

  1. 选择器会失效:视频号小店前端版本迭代频繁,class 名称、DOM 结构随时改动。 select_one("div.shop-name")这类选择器仅作为示例,实际使用时需要 F12 重新审查页面,更新 CSS 选择器;
  2. 无头模式风险:headless=True 会带上自动化特征,很容易被平台风控拦截,适合本地学习调试,不适合长时间跑;
  3. 限流逻辑:代码内置随机休眠,严禁把 sleep 改成 0、开启多线程并发;
  4. 字段过滤:代码里没有写手机号正则提取逻辑,这是合规红线;如果在页面中出现商家联系方式,代码层面应当主动丢弃、过滤;
  5. 增量采集:可扩展增加 seen_url持久化到 json 文件,实现断点续采,避免重复采集。

扩展:增量持久化状态(可选补充片段)

import json
STATE_FILE = "crawl_state.json"
def load_seen():
    try:
        with open(STATE_FILE,"r",encoding="utf-8") as f:
            return set(json.load(f))
    except:
        return set()
def save_seen(seen_set:Set):
    with open(STATE_FILE,"w",encoding="utf-8") as f:
        json.dump(list(seen_set), f, ensure_ascii=False, indent=2)

六、方案对比:爬虫采集 VS 微信开放平台官方 API

很多开发者会直接选择爬虫工具,但是从长期稳定、合规角度,官方 API 才是最优解:

表格

方案 优点 缺点 适用场景
Playwright 页面爬虫 Demo 上手快、不需要申请权限、可以直接读取公开主页 DOM 频繁改版、风控严格、容易封号、合规风险高 本地学习、少量样本调研
微信视频号小店开放 API channels_ec 稳定、接口有版本管理、合规、数据结构化 需要企业资质、申请接口权限、需要商家授权 正规商业项目、长期业务系统

微信开放平台提供视频号小店基础信息接口,在商家授权之后,可以安全获取店铺基础经营信息,不存在爬虫法律风险,生产环境优先走这条路线微信开放社...。

七、反爬与风控避坑总结

  1. 不要批量导入成千上万个链接全速跑,短时间大量请求极易触发 IP 封禁;
  2. 不要使用代理池、高匿 IP 池进行大规模爬取,属于典型恶意爬虫特征;
  3. 不要破解签名、抓包逆向私有接口,这类行为属于绕过平台访问控制,风险极高;
  4. 不要把采集到的店铺信息用于电销、短信骚扰,《个人信息保护法》对营销类信息处理有严格同意要求;
  5. 做好 UA 轮换、指纹隔离,一个浏览器上下文不要长时间连续跑;
  6. 定期校验 robots.txt,尊重平台禁止抓取目录。

八、合规总结

市面上大量宣传的 “视频号商家采集软件、视频号卖家采集工具”,绝大多数产品是把上面这套爬虫逻辑封装成 GUI,增加导入链接、一键导出、代理 IP、多线程等功能, 但并没有解决底层合规风险。

从技术角度,页面解析只是一个普通的自动化技术;但从法律和平台规则角度, 采集行为的边界远比代码本身重要。对于开发者来说,技术学习可以研究页面渲染、DOM 解析、数据清洗;但商用场景,优先对接微信开放平台的官方接口,走授权流程获取数据,才是可持续、低风险的方案。

爬虫技术本身无罪,但越界采集、滥用个人信息,是每一个技术从业者必须守住的底线。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70050905/viewspace-3188686/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论
交流+v:1440030514

注册时间:2026-07-17

  • 博文量
    3
  • 访问量
    2402