服务器分配
| 内网IP | 主机名 | 功能 |
| 10.*.*.127 | master |
NameNode secondaryNameNode DataNode |
| 10.*.*.118 | slave1 |
DataNode Hue |
| 10.*.*.96 | slave2 |
DataNode mysql Hive |
前言
Hue和hive等安装不同，需要进行编译安装，所以安装起来较为复杂。具体安装步骤：
依赖包安装
安装npm
安装hue
集群文件修改
hue配置
hue初始化
启动hue服务
1.依赖包安装
yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel rsync maven
2.安装npm
2.1下载node国内镜像
wget https://npm.taobao.org/mirrors/node/v10.14.1/node-v10.14.1-linux-x64.tar.gz2.2解压安装，移动到/usr/local目录下
tar -xvf node-v10.14.1-linux-x64.tar.gzmv node-v10.14.1-linux-x64 nodemv node /usr/local
2.3修改环境变量
vim /etc/profile在最后面添加
export NODE_HOME=/usr/local/nodeexport PATH=$NODE_HOME/bin:$PATH
刷新环境变量
source /etc/profile测试
node -vnmp -v
显示如下
3.安装Hue
3.1解压安装包
将hue的安装包上传到服务器上，然后进行解压
unzip hue-release-4.5.0.zip3.2编译Hue包
进入hue-release-4.3.0目录，然后进行编译安装
cd hue-release-4.5.0PREFIX=/opt/moudle make install
编译完成之后，会在/opt/moudle目录生成一个hue文件夹
如果编译失败，重新编译安装前需要进入/opt/moudle 目录，把生成的hue文件夹删除
4.集群文件修改
修改配置前，停掉hadoop集群和hiveserver2，配置完成之后，重启hadoop集群会自动改为安全模型，需要手动离开安全模式。
4.1停掉hadoop集群和hiveserver2
进入master的/usr/hadoop-2.10.2/sbin目录下，停掉hadoop
cd /usr/hadoop-2.10.2/sbin/./stop-all.sh
进入slave2机器
ps -ef|grep hiveserver2查看对应的进程，然后kill掉
kill -9 25835以下内容在master机器上进行配置，配置后分发到各个机器是
4.1在 hdfs-site.xml 中增加配置
cd /usr/hadoop-2.10.2/etc/hadoopvim hdfs-site.xml
文件最后加入
<!-- HUE --><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.permissions.enabled</name><value>false</value></property>
4.2在 core-site.xml 中增加配置
vim core-site.xml增加以下配置内容
<!-- HUE --><property><name>hadoop.proxyuser.hue.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hue.groups</name><value>*</value></property><property><name>hadoop.proxyuser.hdfs.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.hdfs.groups</name><value>*</value></property>
4.3httpfs-site.xml 文件，加入配置
vim httpfs-site.xml增加以下内容
<property><name>hadoop.proxyuser.root.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.root.groups</name><value>*</value></property><!-- HUE --><property><name>httpfs.proxyuser.hue.hosts</name><value>*</value></property><property><name>httpfs.proxyuser.hue.groups</name><value>*</value></property>
4.4分发配置文件
scp hdfs-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoopscp hdfs-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoopscp core-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoopscp core-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoopscp httpfs-site.xml slave1:/usr/hadoop-2.10.2/etc/hadoopscp httpfs-site.xml slave2:/usr/hadoop-2.10.2/etc/hadoop
4.5重新启动hadoop集群
cd /usr/hadoop-2.10.2/sbin./start-all.sh
4.6离开安全模式
在master机器上执行
hadoop dfsadmin -safemode leave以下内容在slave1上执行
5.hue配置
5.1配置文件
进入conf目录
cd /opt/moudle/hue/desktop/conf复制一份HUE的配置文件，并修改复制的配置文件
cp pseudo-distributed.ini.tmpl pseudo-distributed.ini修改配置文件
vim pseudo-distributed.ini#[desktop]http_host=slave1http_port=8000time_zone=Asia/Shanghaiserver_user=hueserver_group=huedefault_user=huehadoop_conf_dir=/usr/hadoop-2.10.2/etc/hadoopapp_blacklist=searchengine=mysqlhost=slave2port=3306user=rootpassword=密码
6.hue初始化
6.1.在slave2上（mysql数据库上创建hue数据库实例）
mysql -uroot -p进入mysql之后执行
create database hue;6.2 在slave1上进行初始化
cd /opt/moudle/huebuild/env/bin/hue syncdbbuild/env/bin/hue migrate
7.启动hue服务
groupadd hueuseradd -g hue hue# 在hue安装路径下执行build/env/bin/supervisor
浏览器登录http://slave1:8000/ 显示如下
输入一个用户名和密码，点击创建用户按钮，需要等待一会儿。进入页面显示如下
8.整合Hadoop、Hive、Mysql
修改hue的配置文件
cd /opt/moudle/hue/desktop/confvim pseudo-distributed.ini
hadoop
fs_defaultfs=hdfs://master:9000webhdfs_url=http://master:50070/webhdfs/v1hadoop_conf_dir=/usr/hadoop-2.10.2/etc/hadoopresourcemanager_host=masterresourcemanager_port=8032submit_to=Trueresourcemanager_api_url=http://master:8088proxy_api_url=http://master:8088history_server_api_url=http://master:19888
hive
hive_server_host=slave2hive_server_port=10000hive_conf_dir=/usr/local/hive/conf
mysql
mysqlnice_name="My SQL DB"name=hueengine=mysqlhost=slave2port=3306user=rootpassword=密码
重启之后，浏览器进入，输入之前创建的用户名和密码，登录后显示如下
完工
原文作者：数据仓库技术；如有侵权，请联系管理员删除。
