ITPub博客

首页 > 大数据 > Hadoop > CDH cloudera manager

CDH cloudera manager

原创 Hadoop 作者:xuexiaogang 时间:2015-08-10 10:49:12 0 删除 编辑

1、准备工作:

1.1 防火墙关闭,ip地址修改

 

1.2 主机名修改:vi /etc/sysconfig/network    修改以后重启

如果主机名为namenodedatanode123则下面命令可以直接复制

Vi etc/hosts

192.168.253.37 namenode

192.168.253.38 datanode1

192.168.253.39 datanode2

192.168.253.40 datanode3

 

1.3  ssh

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys root@datanode1:~/.ssh/

scp ~/.ssh/authorized_keys root@datanode2:~/.ssh/

scp ~/.ssh/authorized_keys root@datanode3:~/.ssh/

[root@namenode ~]# ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

44:7a:a3:e8:a5:97:44:a7:25:67:5c:1a:4b:d1:ea:73 root@namenode

The key's randomart image is:

+--[ RSA 2048]----+

|        =o.      |

|       = =.      |

|      + %.       |

|     o @..       |

|    . =.S        |

|   . + .o E      |

|    o o  o       |

|     .           |

|                 |

+-----------------+

[root@namenode ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[root@namenode ~]# scp ~/.ssh/authorized_keys root@datanode1:~/.ssh/

The authenticity of host 'datanode1 (192.168.253.38)' can't be established.

RSA key fingerprint is 9b:1b:8d:0a:8f:fb:d2:15:f8:36:5e:be:71:43:50:35.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'datanode1,192.168.253.38' (RSA) to the list of known hosts.

root@datanode1's password:

authorized_keys                               100%  395     0.4KB/s   00:00   

[root@namenode ~]# scp ~/.ssh/authorized_keys root@datanode2:~/.ssh/

The authenticity of host 'datanode2 (192.168.253.39)' can't be established.

RSA key fingerprint is 9b:1b:8d:0a:8f:fb:d2:15:f8:36:5e:be:71:43:50:35.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'datanode2,192.168.253.39' (RSA) to the list of known hosts.

root@datanode2's password:

authorized_keys                               100%  395     0.4KB/s   00:00   

[root@namenode ~]# scp ~/.ssh/authorized_keys root@datanode3:~/.ssh/

The authenticity of host 'datanode3 (192.168.253.40)' can't be established.

RSA key fingerprint is 9b:1b:8d:0a:8f:fb:d2:15:f8:36:5e:be:71:43:50:35.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'datanode3,192.168.253.40' (RSA) to the list of known hosts.

root@datanode3's password:

authorized_keys                               100%  395     0.4KB/s   00:00   

 

[root@namenode ~]# scp /etc/hosts root@datanode1:/etc/hosts

hosts                                         100%  258     0.3KB/s   00:00    

[root@namenode ~]# scp /etc/hosts root@datanode2:/etc/hosts

hosts                                         100%  258     0.3KB/s   00:00    

[root@namenode ~]# scp /etc/hosts root@datanode3:/etc/hosts

hosts                                         100%  258     0.3KB/s   00:00   

[root@namenode ~]#

 

[root@namenode Desktop]# cd /mnt/hgfs/N   切换到事先下载好的文件所在的目录

 

以下操作每台机器都去执行一遍

 

1.4 JDK安装

[root@namenode N]# rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm

warning: oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY

Preparing...                ########################################### [100%]

   1:oracle-j2sdk1.7        ########################################### [100%]

 

1.5 daemons的安装

主要是因为他比较大,所以单独拿出来安装

[root@namenode N]# rpm -ivh cloudera-manager-daemons-5.4.1-1.cm541.p0.197.el6.x86_64.rpm

warning: cloudera-manager-daemons-5.4.1-1.cm541.p0.197.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID e8f86acd: NOKEY

Preparing...                ########################################### [100%]

   1:cloudera-manager-daemon########################################### [100%]

 

1.6 agent放置

可以事先将agent放到指定目录下,这样可以减少下载时间。

cp/mnt/hgfs/N/cloudera-manager-agent-5.4.1-1.cm541.p0.197.el6.x86_64.rpm  /var/cache/yum/x86_64/6/cloudera-manager/packages/

 

1.7agent 安装

yum -y install cloudera-manager-agent 这一步推荐在每台机器上执行成功以后再做其他事情。

 

说明:主要是cloudera-manager-agent5.4.1这个版本只能在线安装因为涉及到的太多了。

 

2. 开始安装cloudera manager

2.1开始执行 

[root@namenode N]# ./cloudera-manager-installer.bin

按照提示下一步和接受就行。安装完毕就是这样。

 

进入页面选择免费,然后一直下一步。

这里输入主机名和IP都行。namenodedatanode123

后面一直默认。

 

 

输入密码

等待,取决于网络。在这个等待的过程中,将下载的parcel的文件(一共两个包括sha为后缀的一个文件,下载的时候叫sha1,一定要改成sha才行)和manifest.json复制到/opt/cloudera/parcel-repo下

 

cp /mnt/hgfs/N/CDH-5.4.2-1.cdh5.4.2.p0.2-el6.parcel* /opt/cloudera/parcel-repo/

cp /mnt/hgfs/N/manifest.json /opt/cloudera/parcel-repo/

 

2.2parcel复制

这步以后,不要着急点击下一步。先检查刚才复制的文件对不对。然后再继续。

 

这样就不用去下载parcel了,等待。

安装完毕后有一个检查过程,如果安装前面做的,基本没有问题。最多有如下一个, 

这个没有关系,在每台机器上做一下echo 0 > /proc/sys/vm/swappiness  不用重启,重新检查就通过了。

 

2.3配置各个服务器角色

根据机器性能分配,然后下一步。后面一直下一步。

等待完毕。

 

2.4对时检查

检查一下主节点ntp情况,然后使得所有节点和主节点对时。安装完毕。

在主节点上 运行命令行输入命令:  setup

找到NTPD的服务选中,保存退出,重启生效。

在其他节点上的命令行中  ntpdate  -d 主节点IP(192.168.1.1)

并且将这句话加入到crontab -e

 


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/637517/viewspace-1766833/,如需转载,请注明出处,否则将追究法律责任。

上一篇: sqoop
请登录后发表评论 登录
全部评论
工学学士,工程硕士 。从业10余年,设计、实施和运维高并发的数据架构,单机处理超过100亿量级的数据库。目前从事负责高可用、业务连续性和高并发数据架构设计和运维管理。任公司高级系统架构师。Oracle 还MySQL的OCP OCP讲师, ITPUB论坛内存数据库版主;

注册时间:2013-07-01

  • 博文量
    33
  • 访问量
    39021