ITPub博客

首页 > 大数据 > 数据分析 > 高效搭建Storm完全分布式集群

高效搭建Storm完全分布式集群

原创 数据分析 作者:xinlieboy 时间:2014-12-16 11:01:16 0 删除 编辑
环境说明

1、硬件说明 使用三台PC机,角色分配如下 
2、软件说明 .

约定所有软件都放在/usr/local/路径下 准备工作 1、安装jdk 2、配置SSH 
Storm集群安装 安装流程图 .


1、安装Zookeeper集群 
2、安装Storm依赖 zeromq、jzmq、python 
2.1、安装zeromq tar -zxvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 是源码,需先编译 ./configure 检查编译环境 
安装依赖 rpm -ivh libstdc++-devel-4.4.7-3.el6.i686.rpm rpm -ivh gcc-c++-4.4.7-3.el6.i686.rpm rpm -ivh libuuid-devel-2.17.2-12.9.el6.i686.rpm 
./configure 检查编译环境 make 编译 make install 安装 
2.2、安装jzmq unzip jzmq-master.zip 
安装依赖 rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm rpm -ivh automake-1.11.1-4.el6.noarch.rpm rpm -ivh libtool-2.2.6-15.5.el6.i686.rpm 
在/usr/local/jzmq-master路径下 ./autogen.sh 
./configure make make install 
2.3、检查python which python python -V 
3、安装storm 3.1、unzip storm-0.8.2.zip 3.2.1、配置storm环境变量 # set storm environment export STORM_HOME=/usr/local/storm-0.8.2 export PATH=$PATH:$STORM_HOME/bin 
3.2.2、修改Storm的配置文件 vi storm.yaml 配置Zookeeper 配置storm .


4、启动Storm集群 4.1、各节点启动Zookeeper zkServer.sh start 4.2、master启动Storm storm nimbus > ./nimbus.log 2>&1 & 4.3、子节点启动 bin/storm supervisor > ./supervisor.log 2>&1 & 4.4、master启动图形化管理界面进程(进程名core) storm ui > ./core.log 2>&1 & 
5、启动验证 5.1 Java守护进程 .

5.2 web端 http://hadoop100:8080/ 
storm 测试 
下载地址:
http://download.csdn.net/detail/xinlieboy/8273445
  

# ./storm jar /opt/test/lifeCycle.jar cn.itcast.storm.topology.TopoMain life-cycle
Storm集群完全分布式安装Successfully,欢迎留言交流 

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26495863/viewspace-1369270/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2012-11-22

  • 博文量
    65
  • 访问量
    316101