在 Python 中实现爬取过程中时间调度，常用的方法包括使用 time 模块、schedule 库，或者使用 APScheduler。下面是一些具体的方法：
1. 使用 time.sleep()

最简单的方式是使用 time.sleep()，在每次爬取后暂停一段时间：

python

import time
import requests

def crawl():
    response = requests.get('http://example.com')
    # 处理响应
    print(response.text)

while True:
crawl()
time.sleep(60) # 每隔60秒爬取一次

2. 使用 schedule 库

schedule 是一个轻量级的调度库，适合简单的定时任务。

首先，安装 schedule：

bash

pip install schedule

然后可以这样使用：

python

import schedule
import time
import requests

def crawl():
response = requests.get('http://example.com')
print(response.text)

# 每分钟执行一次
schedule.every(1).minutes.do(crawl)

while True:
schedule.run_pending()
time.sleep(1)

3. 使用 APScheduler

如果需要更复杂的调度，可以使用 APScheduler，它支持多种调度方式（例如，基于日期、间隔、cron）。

首先，安装 APScheduler：

bash

pip install apscheduler

使用示例：

python

from apscheduler.schedulers.blocking import BlockingScheduler
import requests

def crawl():
response = requests.get('http://example.com')
print(response.text)

scheduler = BlockingScheduler()
scheduler.add_job(crawl, 'interval', seconds=60) # 每隔60秒爬取一次
scheduler.start()

4. 使用 asyncio 和 aiohttp

如果你希望在异步爬取的同时调度时间，可以结合 asyncio 和 aiohttp：

python

import asyncio
import aiohttp

async def crawl():
    async with aiohttp.ClientSession() as session:
        async with session.get('http://example.com') as response:
            print(await response.text())

async def scheduled_crawl():
    while True:
        await crawl()
        await asyncio.sleep(60) # 每隔60秒爬取一次

asyncio.run(scheduled_crawl())

选择合适的方法

选择方法时要考虑任务的复杂性、是否需要异步、是否需要处理多个爬取任务等因素。对于简单的定时任务，使用 time.sleep() 或 schedule 足够；对于复杂的调度需求，可以选择 APScheduler 或 asyncio。

ITPub博客

python爬取过程中如何实现时间调度

最新文章