ITPub博客

首页 > Linux操作系统 > Linux操作系统 > APScheduler + Gearman 构建分布式定时任务调度

APScheduler + Gearman 构建分布式定时任务调度

原创 Linux操作系统 作者:std1984 时间:2013-11-16 17:49:23 0 删除 编辑

    APScheduler是基于类似于Java Quartz的一个Python定时任务框架,实现了Quartz的所有功能。提供了基于日期、固定时间间隔以及crontab类型的任务,并且可以持久化任务。 它利用sqlalchemy包实现job状态存储于关系数据库,例:

__oracle_url = 'oracle://test1:test1@10.44.74.13:8521/biprod'  
__configure = { 'apscheduler.standalone': True,  
                'apscheduler.jobstores.sqlalchemy_store.class': 'apscheduler.jobstores.sqlalchemy_store:SQLAlchemyJobStore',  
                'apscheduler.jobstores.sqlalchemy_store.url': __oracle_url}

from apscheduler.jobstores.sqlalchemy_store import SQLAlchemyJobStore
from apscheduler.scheduler import Scheduler

scheduler = Scheduler(standalone=False)                  
scheduler.add_jobstore(SQLAlchemyJobStore(url=__oracle_url), 'default')

使用请参考: http://pythonhosted.org/APScheduler/index.html



Gearman是一款开源的通用的分布式任务分发框架,自己本身不做任何实际的工作。它可以将一个个的任务分发给其他的物理机器或者进程,以达到工作的并行运行和LB。 有人说Gearman是分布式 计算框架其实是不太准确的,因为相较于Hadoop而言,Gearman更偏重于任务的分发而不是执行。Gearman扮演的角色更像是一系列分布式进程 的神经系统。

Gearman框架中一共有三个角色:

  1. Client: 提交任务的人。创建需要被执行的job然后发送给Job Server。
  2. Worker: 真正干活的人。向Job Server注册然后从Job Server处拿活干。
  3. Job Server:传说中的manager。接收client提交的Job,分发给相应的worker。并能在worker出现异常时重新派发job。

http://img1.51cto.com/attachment/201307/152852966.png

由于yum或apt-get安装的版本太低,一般都到手工下载最新版本编译安装。步骤如下:
1. 安装依赖包, sudo apt-get install gcc autoconf bison flex libtool make libboost-all-dev libcurl4-openssl-dev curl libevent-dev memcached uuid-dev libpq-dev
2. 下载安装程序, wget https://launchpad.net/gearmand/1.2/1.1.5/+download/gearmand-1.1.5.tar.g
3. 解压编译安装,
tar xvzf gearmand-1.1.5.tar.gz
cd gearmand-1.1.5
./configure
make
make install 
4. 当运行 /usr/local/sbin/gearmand -d 时出现 error while loading shared libraries: libgearman.so.1, 运行如下 sudo ldconfig

启动gearman:

1. gearmand --pid-file=/var/run/gearman/gearmand.pid --daemon --log-file=/var/log/gearman-job-server/gearman.log --listen=192.168.56.101
   gearmand --verbose DEBUG -d

2. 通过命令行工具来体验 Gearman 的功能:
启动 Worker:gearman -w -f wc -- wc -l &
运行 Client:gearman -f wc < /etc/passwd

gearman -w -f testgm -- python &
gearman -f testgm < test_gearman.py


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/16582684/viewspace-776753/,如需转载,请注明出处,否则将追究法律责任。

上一篇: CentOS 安装sun jdk
请登录后发表评论 登录
全部评论

注册时间:2008-12-29

  • 博文量
    171
  • 访问量
    1297291