关注并标星 3分钟秒懂大数据

每天1次，打卡阅读

更快更全面获取大数据技术博客

哈喽，小伙伴们，由于在CSDN发布了一篇CDH6.2.0集群部署的文档教程，浏览量达到7000+，并且每天都有小伙伴进行阅读，所以，为了方便大家进行安装部署，特地拍了一集安装部署的视频教程：视频链接如下：

同时，在B站上面也发布了视频教程，感兴趣的朋友也可以去搜一下：链接如下：

https://www.bilibili.com/video/BV1YV411x74f/

现在将安装文档重新进行编辑，用更清晰，更简洁的话语，再配合视频教程一起发布出来，感兴趣的小伙伴们，可以进行搭建部署呦！！!

1、集群准备

首先准备三台虚拟机，虚拟机ip地址可以ping通：

IP	主机名	内存大小	磁盘大小	CPU核数
192.168.63.131	cdh1	16G	80G	2X4核
192.168.63.132	cdh2	4G	80G	2X4核
192.168.63.133	cdh3	4G	80G	2X4核

2、修改主机和IP地址

选择centos7来进行集群部署，并克隆另外两台虚拟机全部是在root 权限下执行

2.1 修改主机名

hostnamectl set-hostname cdh1

2.2 修改IP地址

cd /etc/sysconfig/network-scripts/vi ifcfg-ens32

2.3 reboot 重启虚拟机

reboot

2.4 重新登录root用户

username : rootpassward : 123456

2.5 ping 能否ping成功

2.6 其他两台主机重复上面操作

3、修改Hosts和域名映射

主要对三台虚拟机上进行网络配置，免密登录、防火墙关闭、selinux关闭

3.1 修改Hosts 域名映射

vi /etc/hosts

4、免密登录、防火墙关闭、SELINUX关闭

4.1 免密登录

查看我之前弄得免密登录链接：

https://blog.csdn.net/weixin_38201936/article/details/85123014

4.2 防火墙关闭

yum  -y  install net-toolsyum  -y  install vimyum  -y  install lrzszyum  -y  install iptables-servicessystemctl stop firewalldsystemctl disable firewalld

4.3 SELINUX 关闭

setenforce 0vi /etc/selinux/config

将SELINUX 的值改为disabled

5、JDK安装

没有关注的小伙伴可以在微信搜索框中搜索微信公众号： 3分钟秒懂大数据，点击关注，下文安装的所有软件包全部在公众号内。在公众号回复 JDK ，即可获取到jdk安装包

5.1、创建目录

mkdir /usr/java

5.2、将下载的JDK压缩包放入该目录下

5.3、在java目录下解压压缩包

tar -zxvf jdk‐8u202‐linux‐x64.tar.gz

5.4、在profile添加JAVA环境配置

vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_202export PATH=$PATH:$JAVA_HOME/bin

5.5 刷新profile

source /etc/profile

5.6 查看JDK是否配置成功

javac -version

6、安装NTP

6.1安装NTP

yum install -y ntp

6.2 修改ntp.conf 配置文件

vi /etc/ntp.conf

6.3 先注释四个server 然后添加server主机ip

6.4 修改nptd配置，在文件末尾添加SYNC_CLOCK=yes

vi  /etc/sysconfig/ntpdSYNC_CLOCK=yes

6.5 启动NPT服务

systemctl start ntpd.servicesystemctl enable ntpd.serviceservice ntpd status

7、修改系统参数

sysctl vm.swappiness=10echo 'vm.swappiness=10' >> /etc/sysctl.confecho never > /sys/kernel/mm/transparent_hugepage/defragecho never > /sys/kernel/mm/transparent_hugepage/enabledecho 'echo never > /sys/kernel/mm/transparent_hugepage/defrag'  >> /etc/rc.localecho 'echo never > /sys/kernel/mm/transparent_hugepage/enabled'  >> /etc/rc.local

8、安装httpd

yum -y install httpd
service httpd start 
service  httpd status

直接用ip地址登录，验证一下

9、下载第三方依赖包

在root 权限下，选择三个窗口同时安装一下依赖包

yum -y install chkconfigyum -y install bind-utilsyum -y install chkconfigyum -y install cyrus-sasl-gssapiyum -y install cyrus-sasl-plainyum -y install fuseyum -y install fuse-libsyum -y install gccyum -y install libxsltyum -y install mod_sslyum -y install MySQL-pythonyum -y install opensslyum -y install openssl-develyum -y install perlyum -y install portmapyum -y install postgresql-serveryum -y install psmiscyum -y install python-develyum -y install python-psycopg2yum -y install python-setuptoolsyum -y install sedyum -y install sqliteyum -y install swigyum -y install zlib

10、Mysql 安装

数据库只在cdh3 上面进行安装，将下面6个rpm包上传到集群中 rpm包自己百度云提取

链接：https://pan.baidu.com/s/1oO_38Wj5Ut1xcy9_EW7dOA
提取码：2bnw

上传集群截图如下：

10.1 查看自己的集群中是否安装mysql数据库

 rpm -qa | grep mysql

这个命令就会查看该操作系统上是否已经安装了mysql数据库

10.2 若安装，通过 remove 卸载

yum -y remove  mysql

10.3 依次安装6个rpm包安装命令如下：

rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-devel-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm --nodeps --force
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm --nodeps --force

10.4 启动mysql,并设置开机自启动

systemctl start mysqldsystemctl enable mysqld

10.5 安装成功后首先将数据库设置成无密码状态，需要修改配置

 vi /etc/my.cnf

添加 skip-grant-tables 可保证为无密码状态（题外话如果想要左边有行号输入 :set nu 就可以显示）

skip-grant-tables

10.6 重启mysql服务器，保证生效

systemctl restart mysqld

10.7 进入数据库，按enter键进入

mysql -u root -p

10.8 选择数据库

use mysql;

10.9 修改密码为 123456

update user set authentication_string=password("123456") where user='root';

10.10 刷新，并退出

flush privileges;quit;

10.11 重新进入数据库，设置密码，修改配置

mysql -u root -p   密码123456

10.12 选择数据库

use mysql;

use mysql; 会报错，说让你重新设置密码.执行下面这一步，设置密码：

set password = PASSWORD('123456');

10.13 更新配置，刷新，退出

ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;flush privileges;quit;

10.14 再次登录数据库，创建数据库

mysql -u root -p  123456 use mysql;create database cmf default character set = 'utf8';
create database amon default character set = 'utf8';
create database hue default character set = 'utf8';
create database oozie default character set = 'utf8';
create database lyz default character set = 'utf8';

10.15 对mysql 数据库赋权，任何服务器都可以连接它，执行下面几步操作

select host from user where user = 'root';update user set host='%' where user = 'root'; flush privileges; quit;

10.16 设置允许外网访问当前的mysql

10.16.1 上面安装数据库前关闭了防火墙，需要先打开防火墙

systemctl start firewalldsystemctl status firewalld

10.16.2 目前防火墙是否对外开发了3306端口

firewall-cmd --list-all

10.16.3 查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

no 表示没有开放

10.16.4 开放3306端口

firewall-cmd --permanent --add-port=3306/tcp

10.16.5 重启防火墙

service firewalld restart

10.16.6 再次.查看3306端口是否开放

firewall-cmd --query-port=3306/tcp

10.16.7 查看目前防火墙

firewall-cmd --list-all

11、mysql-connector-java-5.1.39 上传整理

11.1、在三个对话框中都创建java目录

mkdir /usr/share/java

11.2上传jar包，百度云如下：

链接：https://pan.baidu.com/s/1kbZ04-Ts6npSpCLCwiqrFA

提取码：c4hk

将 mysql-connector-java-5.1.39.jar 上传到 /usr/share/java 目录下

11.3 修改jar名称

mv mysql-connector-java-5.1.39.jar   mysql-connector-java.jar

12、checkpoint 进行镜像备份

现在基础配置已经全部完成，若上述都没有出错，我们需要进行镜像备份，防止后续出现错误时，无法恢复到之前样子，我们点击VMware的蓝色工具，然后点击拍摄快照即可。对三台服务器都进行备份。

13、CM组件和节点安装

在公众号回复 CM组件，即可下面三个截图的组件安装包。

13.1 上传RPM包

cdh2 cdh3 集群只上传 agent 和 daemons rpm包 cdh1 三个包全部上传

13.2 全部节点都安装daemons和agent

yum localinstall -y cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm 
yum localinstall -y cloudera-manager-agent-6.2.0-968826.el7.x86_64.rpm

13.3 cdh1 节点安装server

yum localinstall -y cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

14、下载安装CDH6.2.0

在公众号回复 CDH组件，即可获取下面截图的所有组件安装包。

14.1 下载之后只在CDH1节点上传

14.2 全部上传之后，将不同的资源移动到对应的目录下

mv CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel* /opt/cloudera/parcel-repo/
mv PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel* /opt/cloudera/parcel-repo/
mv manifest.json /opt/cloudera/parcel-repo/
mv PHOENIX-1.0.jar /opt/cloudera/csd/

14.3 效验黄色框的字符码是否相等

14.4 修改server配置文件

vi /etc/cloudera-scm-server/db.properties

12行去掉注释把localhost改成cdh3

15行去掉注释

18行去掉注释，把cmf改成root

21行去掉注释，密码那里填写123456

28行 setupType = EXTERNAL

14.5 修改agent配置文件

# 全部节点修改agent

vi /etc/cloudera-scm-agent/config.ini

15行把每个节点的localhost都修改为cdh1

15、启动CM，开始安装CDH集群

15.1 关闭所有节点的防火墙

systemctl stop firewalld
systemctl disable firewalld

15.2 在cdh1 上启动server,和agent

systemctl start cloudera-scm-serversystemctl start cloudera-scm-agent

15.3 在其他节点上启动 agent

systemctl start cloudera-scm-agent

15.4 另开一个窗口，查看相关日志。有异常就解决异常

tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

查看7180端口是否生效，若生效，证明配置成功，可以登录web页面，若无任何信息显示，证明没生效，查看上面日志，看是否报错

netstat ‐tunlp | grep 7180

15.5 输入IP:7180登录页面

192.168.63.131:7180

用户名密码都是 admin

16、操作WEB界面

选择自定义服务，先安装个zookeeper

到自定义角色分配中，Activity Monitor 我选择的是cdh1节点，zookeeper 我选择的是1-3 节点

数据库是在cdh3 上部署，然后主机名称为cdh3 数据库选择amon 用户名为root 密码 123456 然后点击测试连接

进入到这页之后，先查看自己集群节点的容量大小，输入 df -HT 我的cdh1的节点容量如下：/dev/mapper/centos-root 系统盘的容量最大，占19个G 但使用15个G 所以在选择上不选择系统盘，可以选择 /run盘和 /boot 盘作为存放的路径

点击继续

点击继续

以上就是CDH6.2.0视频安装教程和文档！觉得好的，点赞，在看，分享三连击，谢谢！！!

End

找各类大数据技术文章和面经，就来

<3分钟秒懂大数据>

随时更新互联网大数据组件内容

专为学习者提供技术博文

快和身边的小伙伴一起关注我们吧！

作者简介：逆流而上Mr李，秋招7offer,CSDN博客：https://blog.csdn.net/weixin_38201936

ITPub博客

CDH6.2.0视频安装教程（史上最全的安装教程）

4.3 SELINUX 关闭

最新文章