ITPub博客

首页 > 大数据 > 数据分析 > Hbase在windows下的安装

Hbase在windows下的安装

数据分析 作者:饽饽131 时间:2011-07-27 11:14:15 0 删除 编辑
刚工作,研究生期间就逐渐开始发现将所学知识进行记录的重要性,希望以后能坚持下来,把学习的过程记录下来也算是很有意义的一件事,虽然可能多耗了一点时间,但对技术的巩固还是有好处的。

上个星期本来想测Hbase的性能,结果刚开始学API就改了项目,这里想把Hbase的安装过程记录下来。总体感觉Hbase的版本号还在0.90徘徊也确实反映其整体功能尚未完善成型,想用Hbase建库的不妨再等等。

本文部分内容是翻译自hbase官网的windows安装过程。

关于Hbase的介绍,可以参见http://wiki.apache.org/hadoop/Hbasehttp://en.wikipedia.org/wiki/HBase


准备:(Windows7) 参考官网:http://hbase.apache.org/cygwin.html

1.Java

安装JDK:去官网下,安装,配置环境变量

用鼠标右击“我的电脑”->属性->高级->环境变量

系统变量->新建->变量名:JAVA_HOME 变量值:D:Program FilesJavajdk1.6.0_10(JDK安装路径)

系统变量->编辑->变量名:Path 在变量值的最前面加上:%JAVA_HOME%in;(若已经有Path项,无须另外新建,直接在后面加,但需用 ; 与前面已有项分隔开)

系统变量->新建->变量名:CLASSPATH 变量值:

.;%JAVA_HOME%lib;%JAVA_HOME%libdt.jar;%JAVA_HOME%lib ools.jar;

最后测试下环境变量是否设置成功:在左下角的搜索框中键入cmd回车,输入javac

如果出现一大串调试信息证明已安装,如出现 'javac' 不是内部或外部命令,也不是可运行的程序或批处理文件。 说明此次Java环境变量配置出错了。

 

2. Cygwin

Cygwin是一个在windows平台上运行的unix模拟环境,是cygnus solutions公司开发的自由软件(该公司开发了很多好东西,著名的还有eCos,不过现已被Redhat收购)。它对于学习unix/linux操作环境,或者从unixwindows的应用程序移植,或者进行某些特殊的开发工作,尤其是使用gnu工具集在windows上进行嵌入式系统开发,非常有用。随着嵌入式系统开发在国内日渐流行,越来越多的开发者对cygwin产生了兴趣。

在官方主页http://www.cygwin.com/找到setup.exe下载并运行(保存,有用),"Install from Internet",会有两个选择目录界面,一个是选择Cygwin 安装的目录,另一个是为安装包选择一个临时目录。当 Cygwin 安装完成后,您可以删除这个目录和它的内容。注意安装程序记住了这个目录,并在更新时只下载比这个目录中的包更新的版本。如果您删除这个目录并重新安装, setup将重新安装您选择的所有内容而不管这些包的安装程序在运行目录中已经存在。然后选择一个服务器(找个.cn的应该快吧,我选的差不多100k/s)。跳出Select Package界面选择要安装的组件,HASE只需Cygwin,因此默认即可。设置环境变量:

系统变量新增:CYGWIN_HOME,值为安装目录

变量PATH最后添加值: %CYGWIN_HOME%in

卸载:uninstall Cygwin you can simply delete the Root(安装目录) and Local Package directory(临时目录), and the shortcuts that were created during installation.

 

3.SSH

SSH Secure Shell 的缩写,由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。S S H最初是U N I X系统上的一个程序,后来又迅速扩展到其他操作平台。S S H在正确使用时可弥补网络中的漏洞。S S H客户端适用于多种平台。几乎所有U N I X平台—包括H P - U XL i n u xA I XS o l a r i sDigital UNIXI r i x,以及其他平台—都可运行S S H

运行前面保存的setup.exe,下一步直到组件选择,安装一下(找到后点skip

1OpenSSH

2tcp_wrappers

3diffutils

4Zlib

 

4.HBASE

官网下载http://hadoop.apache.org/hbase/releases.html压缩包,解压即可

因为HBASE要安装到Cygwin中,为求方便,最好放在Cygwin安装目录的/usr/local/下,类似/usr/local/hbase-的目录。

 

5.配置

1) java

1.为java建立一个快捷方式到Java home directory(原文,应该是指的jre)在Cygwin命令行下输入:

LN -s /cygdrive/c/Program Files/Java/ /usr/local/

c/Program Files/Java/指的是安装jre的路径,如我的是D:Program FilesJavajre6即写成d/Program Files/Java/jre6

2.测试是否成功:

输入:CD /usr/local/

输入:./bin/java –version

如果输出java的版本号,说明安装正确

 

2) SSH

1.确保管理员权限下运行,通过以下命令确认SSH的权限配置正确:

    1chmod +r /etc/passwd  to make the passwords file readable for all

    2chmod u+w /etc/passwd  to make the passwords file writable for the owner

    3chmod +r /etc/group  to make the groups file readable for all

    4chmod u+w /etc/group  to make the groups file writable for the owner

    5chmod 755 /var  to make the var folder writable to owner and readable and executable to all

2.编辑/etc/hosts.allow文件,确保以下两行放在文件的开头:

    1ALL : localhost 127.0.0.1/32 : allow

2ALL : [::1]/128 : allow

3. 配置ssh主机,(管理员权限下运行)输入命令:ssh-host-config

(如果询问overwrite an existing /etc/ssh_config,输入yes;)

(如果询问overwrite an existing /etc/sshd_config,输入yes;)

当屏幕显示关于“privilege seperation”,输入yes后回车;

当屏幕显示关于“create local user sshd”,输入yes后回车;

当屏幕显示关于“install sshd as a service”,输入yes后回车;

当屏幕显示关于“CYGWIN=”,输入缺省的ntsecntsec tty?)后回车;

(如果询问create the sshd account,输入yes;)

如果询问use a different user name as service account,输入缺省的no即可;

如果询问create the cyg_server account,输入yes,并为账号设定密码(你再输入的时候命令行窗口的光标没有变化,不用管它,输入-回车再输入-回车即可);

当屏幕提示“Host configuration finished. Have fun!”时,就说明已经正常的完成了ssh主机的配置。

4. 启动ssh服务,也就是启动ssh的服务器功能,在cygwin的控制台中输入如下命令:net start sshd(无效,不解)或者cygrunsrv –-start sshd

屏幕提示“CYGWIN sshd服务已经启动成果。”,或者没有任何错误提示(对于cygrunsrv命令而言),说明ssh服务已经正常启动。

5. 建用户组与密码(使WindowsCygwin的账户一致or协调?),在cygwin的控制台中输入如下命令:

mkpasswd –cl > /etc/passwd

mkgroup --local > /etc/group

至此服务器的配置已经完成,可以基于用户与密码实现从远程登陆SSH服务器。(后面的测试发现,用户名就是Windows的用户名,密码也一样,前面设置的密码岂不没有意义了?)

6.测试

打开一个新的Cygwin命令窗口,输入命令:whoami,确认你的用户账号。

cygwin的控制台输入如下命令:

ssh username@hostname

其中hostname为建立SSH服务器的计算机IP地址或机器名,username为用于登陆该计算机的用户名称,如果根据前面的服务器配置步骤,应当就是该计算现有的某个账户名称。如我的是ssh ytictsoft@10.99.0.54

如果是所用的客户端计算机是第一次登陆SSH服务器,命令行中会提示“Are you sure you want to continue connecting (yes/no) ?”,只要输入yes即可,SSH服务器会自动将这次的登陆信息存储在/.ssh/known_host文件中。

接着屏幕中会提示输入登陆账户的密码,也就是ssh服务器中登陆账户的密码,当显示“Fanfare!!! You are successfully logged in to this server!!!”时(我的怎么没有任何信息提示),说明已经成功登陆到ssh服务器计算机内了,需要注意的是,此时在当前控制台内输入的命令都将在ssh服务器计算机里运行。

 

如果要退出登陆,只要在命令行中输入exit即可,屏幕中会显示“logout Connection to [hostname] closed.

 

3) HBASE

HBSE安装路径下的./conf/hbase-env.sh是用来配置它依赖的运行环境的,打开并将下面的语句拷贝到后面

    export JAVA_HOME=/usr/local/

export HBASE_IDENT_STRING=$HOSTNAME as this most likely does not inlcude spaces.(加红部分是原文有的但我实在没看明白是命令语句的一部分还是解释语句,反正我感觉肯定不是命令)

HBSE安装路径下的./conf/hbase-default.xml为配置文件(不知是不是版本问题,我的是0.90.3,该文件实际上在srcmain esources里)。改以下值:

    1hbase.rootdir must read e.g. file:///D:/cygwin/root/tmp/hbase/data(版本不一样,实际上应该是file:///D:/cygwin/root/tmp/hbase_${user.name}/hbase,实际上没有hbase文件夹,我自己建了一个)

    2hbase.tmp.dir must read D:/cygwin/root/tmp/hbase/tmp(实际上应该是D:/cygwin/tmp/hbase_${user.name})

3hbase.zookeeper.quorum must read 127.0.0.1 because for some reason localhost doesn't seem to resolve properly on Cygwin.

最后Make sure the configured hbase.rootdir and hbase.tmp.dir directories exist and have the proper rights set up e.g. by issuing a chmod 777 on them.

HBSE安装路径下的./conf/hbase-default.xml为配置文件(hbase-default.xml是供参考的默认配置文件,在srcmain esources里,实际上的配置文件应该是./conf/hbase-site.xml)。改以下值(参考hbase-default.xml的写法,增加到hbase-site.xml )

    1hbase.rootdir must read e.g. file:///D:/cygwin/root/tmp/hbase/data(版本不一样,实际上应该是file:///D:/cygwin/root/tmp/hbase_${user.name}/hbase,实际上没有hbase文件夹,我自己建了一个)

    2hbase.tmp.dir must read D:/cygwin/root/tmp/hbase/tmp(实际上应该是D:/cygwin/tmp/hbase_${user.name})

3hbase.zookeeper.quorum must read 127.0.0.1 because for some reason localhost doesn't seem to resolve properly on Cygwin.

最后Make sure the configured hbase.rootdir and hbase.tmp.dir directories exist and have the proper rights set up e.g. by issuing a chmod 777 on them.

 

测试

This should conclude the installation and configuration of HBase on Windows using Cygwin. So it's time to test it.

  1. Start a Cygwin terminal, if you haven't already.
  2. Change directory to HBase installation using CD /usr/local/hbase-, preferably using auto-completion.
  3. Start HBase using the command ./bin/start-hbase.sh
    1. When prompted to accept the SSH fingerprint, answer yes.
    2. When prompted, provide your password. Maybe multiple times.
    3. When the command completes, the HBase server should have started.
    4. However, to be absolutely certain, check the logs in the ./logs directory for any exceptions.
  4. Next we start the HBase shell using the command ./bin/hbase shell
  5. We run some simple test commands
    1. Create a simple table using command create 'test', 'data'
    2. Verify the table exists using the command list
    3. Insert data into the table using e.g.

4.   

put 'test', 'row1', 'data:1', 'value1'

put 'test', 'row2', 'data:2', 'value2'

put 'test', 'row3', 'data:3', 'value3'

    1. List all rows in the table using the command scan 'test' that should list all the rows previously inserted. Notice how 3 new columns where added without changing the schema!
    2. Finally we get rid of the table by issuing disable 'test' followed by drop 'test' and verified by list which should give an empty listing.
  1. Leave the shell by exit
  2. To stop the HBase server issue the ./bin/stop-hbase.sh command. And wait for it to complete!!! Killing the process might corrupt your data on disk.
  3. In case of problems,
    1. verify the HBase logs in the ./logs directory.
    2. Try to fix the problem
    3. Get help on the forums or IRC (#hbase@freenode.net). People are very active and keen to help out!
    4. Stopr, restart and retest the server.

转载请注明出处:http://blog.sina.com.cn/s/blog_56545fd30100sznd.html
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26216595/viewspace-1120677/,如需转载,请注明出处,否则将追究法律责任。

上一篇: NVL2函数
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2011-08-28

最新文章