Gearman是一个分发任务的程序框架，可以用在各种场合，与Hadoop相比，Gearman更偏向于任务分发功能。它的 任务分布非常 简单，简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能，由于图片resize需要消耗大量计算资 源，因此需要调度到后端多台服务器执行，完成任务之后返回前端再呈现到界面。
Gearman 分布式任务实现原理上只用到2个字段，function name和data。function name即任务名称，由client传给job server, job server根据function name选择合适的worker节点来执行。data通常为执行任务所需的自定义的内容，比如简单的做法可以把需要执行的脚本当成data即可(当然要注 意其中的安全防范)。如果有多个worker可以处理同一个function name, 则job server会自动分配一个。当用于远程监控场景时，我们可以让每个worker注册成不同的业务名称，以达到方便控制每台worker节点的目的。
Gearman是一个用来把工作委派给其他机器、分布式的调用更适合做某项工作的机器、并发的做某项工作在多个调用间做负载均衡、或用来在调用其它语言的函数的系统。
一个Gearman请求的处理过程涉及三个角色：Client -> Job -> Worker。
Client：请求的发起者，可以是C，PHP，Perl，MySQL UDF等等。
Job：请求的调度者，用来负责协调把Client发出的请求转发给合适的Work；即使挂掉一台依然能正常服务。
Worker：请求的处理者，可以是C，PHP，Perl等等；只要有一台worker活着，Job的分发任务都能执行。
优点：
1、分布式计算、很方便的实现负载均衡
2、避免单点故障，只要有一台Job和Worker活着，任务都会执行。
3、部署简单，跨语言调用便捷。
缺点：
1、目前Gearman最新的版本，为0.34；但安装过程中有报错；修改源码，勉强能安装成功，但不稳定。
方案：
Gearman在0.9版本后，更多是在做功能扩展；
如仅用其核心功能，综合稳定性和性能，建议选用0.9版；本文以用0.9版安装。
一、安装
策略：部署在JOB服务器上，即任务分配服务器
本文分别部署机器：192.168.35.197、192.168.35.198
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
//libevent
wget http://www.monkey.org/~provos/libevent-1.4.12-stable.tar.gz
./configure
--prefix=/usr
make
&& make
install
ldconfig
//gearmand安装 0.9版
wget http://launchpad.net/gearmand/trunk/0.9/+download/gearmand-0.9.tar.gz
./configure
--prefix=/opt/server/gearman
make
make
install
//PHP版本 php-5.3.13.tar.gz (相信已安装，略过)
./configure
--prefix=/opt/server/php
--with-config-file-path=/opt/server/php/etc
--enable-fpm
make
makeinstall
//gearman
php扩展；
wget http://pecl.php.net/get/gearman-0.5.0.tgz
/opt/server/php/bin/phpize
./configure
--with-php-config=/opt/server/php/bin/php-config
--with-gearman=/opt/server/gearman
make
make
install
|
启动守护进程
|
1
|
/opt/server/gearman/sbin/gearmand
-uroot -p1234 -d
|
二、客户端程序
场景：广大的前端WEB服务器
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
<?php
//客户端连接
$gmclient= new GearmanClient();
$gmclient->addServer("192.168.35.197", 1234);
$gmclient->addServer("192.168.35.198", 1234);
//处理请求
$result = $gmclient->do("reverse", "Hello!");
var_dump($result);
?>
|
三、服务端程序
场景：用于相应WEB服务
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
<?php
//Worker
实例
$gmworker=new GearmanWorker();
$gmworker->addServer("192.168.35.197", 1234);
$gmworker->addServer("192.168.35.198", 1234);
//注册
$gmworker->addFunction("reverse", "reverse_fn");
//等待执行
while
($gmworker->work());
//处理逻辑；反转字符串
function
reverse_fn($job)
{
return
strrev($job->workload());
}
?>
|
四、总结
简单的分布式计算实现方式；比较简单不总结了吧。
扩展：可结合Nagios，设置Worker的管理监控，基本完美。
原文作者：yanook；如有侵权，请联系管理员删除。
