在线爬虫是大快大数据一体化开发框架的重要组成部分，本篇重点分享在线爬虫的安装。

爬虫安装前准备工作：大快大数据平台安装完成、 zookeeper 、 redis 、 elasticsearch 、 mysql 等组件安装启动成功。

1 、修改爬虫安装配置文件 ( 最好在线下修改好后再上传平台 )

2 、修改 crawler\dkcrw \jdbc.properties 配置文件 ( 只修改图片里的内容其他内容默认即可 )

Hbase.zookeeper.quorum 所填地址应在 DKM 监控平台查看：

Redis 相关配置看如下界面：

3 、把已修改的 crawler\dkcrw \ 下的 jdbc.properties 配置文件替换到 \crawler\dkcrw-tomcat-7.0.56\webapps\ROOT\WEB-INF\classes 下 ( 这下面有一个没有改好的直接替换 )

修改好后把修改好的爬虫文件打压成压缩文件

4 、上传平台主节点并解压 ( 这里就不介绍怎么上传了的了 , 本次例子是上传到 root 目录下 , 安装包上传到任何目录下都可以推选 root 目录 )

u nzip 解压命令 , 解压唱功后会多了一个   cuawler   的文件夹

使用 cd  crawler   命令进入   crawler   文件夹下

使用 mysql -uroot -p123456 < numysql.sql   命令添加 numysql.sql 数据库

5 、分发爬虫文件

每个节点都需要有 dkcrw 文件 ,  dkcrw-tomcat-7.0.56 文件只能放在一个节点上 , 不能放在主节点上 ( 推选放在从节点 )

命令 :

scp -r  { 要分发的文件名可填写多个 , 如果不在要分发文件的目录下请添加路径 }  { 分发到的服务器 ip 或名称 : 分发到的路径 }

例如 :

cd /opt/dkh

scp -r dkcrw dk2:/opt/dkh/

scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/

6 、在分发了 dkcrw-tomcat-7.0.56 文件的节点上给文件添加权限

命令 :

c hmod -R 755 { 需要给权限的文件等 }

例如 :

cd /opt/dkh

chmod -R 755 dkcrw   dkcrw-tomcat-7.0.56 /

7 、启动爬虫界面

命令 :

cd /opt/dkh/dkcrw-tomcat-7.0.56/bin/

./startup.sh

启动界面之后再浏览器中输入启动界面节点的 IP, 来打开爬虫界面看是否启动成功 ( 账号密码是默认的 )

8 、启动每个节点的 dkcrw.jar

命令 :

主节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 &

从节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &

注意：可以先使用前台启动爬虫，确定爬虫没错误。

前台启动命令 java -jar dkcrw.jar master/slave