ITPub博客

首页 > 大数据 > Hadoop > Cloudera CDH4和Impala离线安装

Cloudera CDH4和Impala离线安装

Hadoop 作者:夜无情 时间:2013-10-25 15:05:19 0 删除 编辑

一、           Cloudera Manager的离线安装

Cloudera Hadoop CDH4官方推荐通过Cloudera Manager安装,方法是先下载一个cloudera-manager-installer.bin的程序,这个程序会连接到Cloudera的官方网站下载Cloudera Manager需要的rpm包,完成Cloudera Manager的安装。

Cloudera Manager安装完成后,只是提供一个Cloudera Hadoop的一个安装管理平台,这个平台是一个可视化的Web页面。Cloudera Hadoop集群的安装可以通过这个平台简单的完成。

要实现Cloudera Manager的离线安装,需要1.下载Cloudera Manager需要的rpm 2.Cloudera的官方网站下载地址映射到本地IP。第一步可以登录到Cloudera的官方网站将这些包下载到本地,目录类似于下面的结构:

CM4

└─redhat

    ├─5

      └─x86_64

          └─cm

               cloudera-manager.repo

               RPM-GPG-KEY-cloudera

             

              └─4

                  ├─repodata

                      filelists.xml.gz

                       other.xml.gz

                       primary.xml.gz

                       repomd.xml

                 

                  └─RPMS

                      └─x86_64

                              cloudera-manager-agent-4.7.2-1.cm472.p0.135.el5.x86_64.rpm

                              cloudera-manager-daemons-4.7.2-1.cm472.p0.135.el5.x86_64.rpm

                              cloudera-manager-server-4.7.2-1.cm472.p0.135.el5.x86_64.rpm

                              cloudera-manager-server-db-4.7.2-1.cm472.p0.135.el5.x86_64.rpm

                              enterprise-debuginfo-4.7.2-1.cm472.p0.135.el5.x86_64.rpm

                              jdk-6u31-linux-amd64.rpm   

    └─6

        └─x86_64

            └─cm

                  cloudera-manager.repo

                  RPM-GPG-KEY-cloudera

                └─4

                  ├─repodata

                        filelists.xml.gz

                        filelists.xml.gz.asc

                        other.xml.gz

                        other.xml.gz.asc

                        primary.xml.gz

                        primary.xml.gz.asc

                        repomd.xml

                        repomd.xml.asc

                 

                  └─RPMS

                      ├─noarch

                      └─x86_64

                              cloudera-manager-agent-4.7.1-1.cm471.p0.125.el6.x86_64.rpm

                              cloudera-manager-daemons-4.7.1-1.cm471.p0.125.el6.x86_64.rpm

                              cloudera-manager-server-4.7.1-1.cm471.p0.125.el6.x86_64.rpm

                              cloudera-manager-server-db-4.7.1-1.cm471.p0.125.el6.x86_64.rpm

                              enterprise-debuginfo-4.7.1-1.cm471.p0.125.el6.x86_64.rpm

                              jdk-6u31-linux-amd64.rpm

第二步,配置一个htttp服务,例如apache httpd服务,将上述目录树拷贝到这个http服务的根目录下,例如apache httpd服务缺省的根目录是 /var/www/html,然后在待安装机器上配置hosts文件,将上面的服务提供的IP映射到archive.cloudera.com的域名上即可,一般是在hosts文件中增加一行  192.168.1.101   archive.cloudera.com 

完成上述两步后,执行cloudera-manager-installer.bin即可完成Cloudera Manager的离线安装,Cloudera Manager安装完成后,在被安装机器上会打开7180端口,这时在浏览器中访问这个地址,即可进入Cloudera Hadoop的管理界面。

 

二、           CDH4Impala的离线安装

CDH4可以通过rpm安装,也可通过parcels安装,官方推荐使用parcels安装。

先到Cloudera的官方网站下载CDH4Impalaparcels包。下面目录树结构映射了官方的下载地址。

cdh4

└─parcels

    └─latest

            CDH-4.4.0-1.cdh4.4.0.p0.39-el5.parcel

            CDH-4.4.0-1.cdh4.4.0.p0.39-el6.parcel

            CDH-4.4.0-1.cdh4.4.0.p0.39-lucid.parcel

            CDH-4.4.0-1.cdh4.4.0.p0.39-precise.parcel

            CDH-4.4.0-1.cdh4.4.0.p0.39-sles11.parcel

            CDH-4.4.0-1.cdh4.4.0.p0.39-squeeze.parcel

            manifest.json

impala

└─parcels

    └─latest

            IMPALA-1.1.1-1.p0.17-el5.parcel

            IMPALA-1.1.1-1.p0.17-el6.parcel

            IMPALA-1.1.1-1.p0.17-lucid.parcel

            IMPALA-1.1.1-1.p0.17-precise.parcel

            IMPALA-1.1.1-1.p0.17-sles11.parcel

            IMPALA-1.1.1-1.p0.17-squeeze.parcel

            manifest.json

下载完成后,放到上面一样的http服务的根目录下。进入Cloudera Hadoop的管理界面,添加集群,添加服务器,添加服务等,就可自动从这些包中安装Hadoop依赖的软件。

例如HDFS的添加步骤是  服务――下拉“操作”――添加服务――选择HDFS

例如Impala的添加步骤是  服务――下拉“操作”――添加服务――选择impala

需要说明的是,服务是有依赖关系的,要添加impala服务,就要先顺序添加 hdfs—mapreduce—hive—zookeeper 这几个服务。添加服务时,一些关键的配置参数也要注意,例如hdfsnamenode目录、secondary namenode目录、mapreducejobtracker目录、tasktracker目录等。

 

三、           主要操作界面

下面操作都从主菜单上链接开始:

1.      添加集群

主页 添加集群

 

2.      添加服务

服务所有服务— —添加服务

 

在下面的界面中选择你要添加的服务。

 

3.      添加节点

主机向集群添加主机

 

4.      删除节点

主机

然后选定一个主机(界面上的一行记录)

主机已选定的动作从集群中删除

主机已选定的动作删除

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22747239/viewspace-1119629/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-10-22