最近看到很多伙伴需要了解抖音的信息，以下为python演示
希望可以帮到大家！
import requests
from bs4 import BeautifulSoup
# 示例URL（请替换为实际的抖音商品页面URL）
url = 'https://example.com/douyin_product_page'
# 请求头（可能需要调整以绕过反爬虫机制）
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
# 发送HTTP GET请求
response = requests.get(url, headers=headers)
# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML内容
    soup = BeautifulSoup(response.content, 'html.parser')
    # 查找标题（根据实际的HTML结构进行调整）
    title_tag = soup.find('h1', {'class': 'product-title'})  # 示例类名，请根据实际情况调整
    if title_tag:
        title = title_tag.get_text(strip=True)
    else:
        title = '未找到标题'
    # 查找价格（根据实际的HTML结构进行调整）
    price_tag = soup.find('span', {'class': 'product-price'})  # 示例类名，请根据实际情况调整
    if price_tag:
        price = price_tag.get_text(strip=True)
    else:
        price = '未找到价格'
    # 输出结果
    print(f'标题: {title}')
    print(f'价格: {price}')
else:
    print(f'请求失败，状态码: {response.status_code}')
import time
import pandas as pd
import random
import string
from argparse import ArgumentParser
# 模拟数据采集函数（在实际应用中，这个函数会进行真正的数据抓取）
def simulate_data_collection(item_count):
    data = []
    for _ in range(item_count):
        item_id = ''.join(random.choices(string.ascii_letters + string.digits, k=10))
        title = ' '.join(random.choices(string.ascii_letters, k=random.randint(5, 15))).capitalize()
        price = random.uniform(10.0, 1000.0)
        data.append({'Item ID': item_id, 'Title': title, 'Price': price})
    return data
# 去重函数（基于Item ID）
def deduplicate_data(data):
    seen_ids = set()
    unique_data = []
    for item in data:
        item_id = item['Item ID']
        if item_id not in seen_ids:
            unique_data.append(item)
            seen_ids.add(item_id)
    return unique_data
# 导出到Excel函数
def export_to_excel(data, filename):
    df = pd.DataFrame(data)
    df.to_excel(filename, index=False)
# 主函数
def main(interval, total_collections, items_per_collection):
    all_data = []
    for _ in range(total_collections):
        print(f"Starting collection {_+1}...")
        collected_data = simulate_data_collection(items_per_collection)
        all_data.extend(collected_data)
        
        # 去重（在实际应用中，可能需要在每次采集后立即去重，或者在整个采集过程结束后去重）
        # 这里我们在每次采集后模拟去重，但将结果合并到all_data中（注意：这样做在实际中可能不是最优的，因为最终还需要全局去重）
        # 为了简化示例，我们在这里不进行局部去重，而是在最后进行全局去重
        
        print(f"Collected {len(collected_data)} items.")
        time.sleep(interval)  # 等待指定的采集间隔
    
    # 全局去重
    unique_data = deduplicate_data(all_data)
    print(f"Total unique items after deduplication: {len(unique_data)}")
    
    # 导出到Excel
    export_to_excel(unique_data, 'collected_data.xlsx')
    print("Data exported to collected_data.xlsx")
# 解析命令行参数
if __name__ == "__main__":
    parser = ArgumentParser(description="Simulate data collection with deduplication and export to Excel.")
    parser.add_argument("--interval", type=int, default=10, help="Interval between collections in seconds (default: 10)")
    parser.add_argument("--total-collections", type=int, required=True, help="Total number of collections to perform")
    parser.add_argument("--items-per-collection", type=int, required=True, help="Number of items to collect in each collection")
    args = parser.parse_args()
    
    main(args.interval, args.total-collections, args.items-per-collection)
python script_name.py --interval 15 --total-collections 5 --items-per-collection 100