首页 > 大数据 > 数据分析 > Hbase在windows下的安装
关于Hbase的介绍,可以参见http://wiki.apache.org/hadoop/Hbase与http://en.wikipedia.org/wiki/HBase。
准备:(Windows7)
参考官网:http://hbase.apache.org/cygwin.html
1.Java
安装JDK:去官网下,安装,配置环境变量
用鼠标右击“我的电脑”->属性->高级->环境变量
系统变量->新建->变量名:JAVA_HOME 变量值:D:Program FilesJavajdk1.6.0_10(JDK安装路径)
系统变量->编辑->变量名:Path 在变量值的最前面加上:%JAVA_HOME%in;(若已经有Path项,无须另外新建,直接在后面加,但需用 ; 与前面已有项分隔开)
系统变量->新建->变量名:CLASSPATH 变量值:
.;%JAVA_HOME%lib;%JAVA_HOME%libdt.jar;%JAVA_HOME%lib ools.jar;
最后测试下环境变量是否设置成功:在左下角的搜索框中键入cmd回车,输入javac
如果出现一大串调试信息证明已安装,如出现 'javac' 不是内部或外部命令,也不是可运行的程序或批处理文件。 说明此次Java环境变量配置出错了。
2. Cygwin
Cygwin是一个在windows平台上运行的unix模拟环境,是cygnus solutions公司开发的自由软件(该公司开发了很多好东西,著名的还有eCos,不过现已被Redhat收购)。它对于学习unix/linux操作环境,或者从unix到windows的应用程序移植,或者进行某些特殊的开发工作,尤其是使用gnu工具集在windows上进行嵌入式系统开发,非常有用。随着嵌入式系统开发在国内日渐流行,越来越多的开发者对cygwin产生了兴趣。
在官方主页http://www.cygwin.com/找到setup.exe下载并运行(保存,有用),"Install from Internet",会有两个选择目录界面,一个是选择Cygwin 安装的目录,另一个是为安装包选择一个临时目录。当 Cygwin 安装完成后,您可以删除这个目录和它的内容。注意安装程序记住了这个目录,并在更新时只下载比这个目录中的包更新的版本。如果您删除这个目录并重新安装, setup将重新安装您选择的所有内容而不管这些包的安装程序在运行目录中已经存在。然后选择一个服务器(找个.cn的应该快吧,我选的差不多100k/s)。跳出Select Package界面选择要安装的组件,HASE只需Cygwin,因此默认即可。设置环境变量:
系统变量新增:CYGWIN_HOME,值为安装目录
变量PATH最后添加值: %CYGWIN_HOME%in
卸载:uninstall Cygwin you can simply delete the Root(安装目录) and Local Package directory(临时目录), and the shortcuts that were created during installation.
3.SSH
SSH 为 Secure Shell 的缩写,由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。S S H最初是U N I X系统上的一个程序,后来又迅速扩展到其他操作平台。S S H在正确使用时可弥补网络中的漏洞。S S H客户端适用于多种平台。几乎所有U N I X平台—包括H P - U X、L i n u x、A I X、S o l a r i s、Digital UNIX、I r i x,以及其他平台—都可运行S S H。
运行前面保存的setup.exe,下一步直到组件选择,安装一下(找到后点skip)
1.OpenSSH
2.tcp_wrappers
3.diffutils
4.Zlib
4.HBASE
官网下载http://hadoop.apache.org/hbase/releases.html压缩包,解压即可
因为HBASE要安装到Cygwin中,为求方便,最好放在Cygwin安装目录的/usr/local/下,类似/usr/local/hbase-
5.配置
1) java
1.为java建立一个快捷方式到Java home directory(原文,应该是指的jre)在Cygwin命令行下输入:
LN -s /cygdrive/c/Program Files/Java/ /usr/local/
c/Program Files/Java/
2.测试是否成功:
输入:CD
/usr/local/
输入:./bin/java –version
如果输出java的版本号,说明安装正确
2) SSH
1.确保管理员权限下运行,通过以下命令确认SSH的权限配置正确:
2.编辑/etc/hosts.allow文件,确保以下两行放在文件的开头:
2.ALL : [::1]/128 : allow
3. 配置ssh主机,(管理员权限下运行)输入命令:ssh-host-config,
(如果询问overwrite an existing /etc/ssh_config,输入yes;)
(如果询问overwrite an existing /etc/sshd_config,输入yes;)
当屏幕显示关于“privilege seperation”,输入yes后回车;
当屏幕显示关于“create local user sshd”,输入yes后回车;
当屏幕显示关于“install sshd as a service”,输入yes后回车;
当屏幕显示关于“CYGWIN=”,输入缺省的ntsec(ntsec tty?)后回车;
(如果询问create the sshd account,输入yes;)
如果询问use a different user name as service account,输入缺省的no即可;
如果询问create the cyg_server account,输入yes,并为账号设定密码(你再输入的时候命令行窗口的光标没有变化,不用管它,输入-回车再输入-回车即可);
当屏幕提示“Host configuration finished. Have fun!”时,就说明已经正常的完成了ssh主机的配置。
4. 启动ssh服务,也就是启动ssh的服务器功能,在cygwin的控制台中输入如下命令:net start sshd(无效,不解)或者cygrunsrv –-start sshd
屏幕提示“CYGWIN sshd服务已经启动成果。”,或者没有任何错误提示(对于cygrunsrv命令而言),说明ssh服务已经正常启动。
5. 建用户组与密码(使Windows和Cygwin的账户一致or协调?),在cygwin的控制台中输入如下命令:
mkpasswd –cl > /etc/passwd
mkgroup --local > /etc/group
至此服务器的配置已经完成,可以基于用户与密码实现从远程登陆SSH服务器。(后面的测试发现,用户名就是Windows的用户名,密码也一样,前面设置的密码岂不没有意义了?)
6.测试
打开一个新的Cygwin命令窗口,输入命令:whoami,确认你的用户账号。
在cygwin的控制台输入如下命令:
ssh username@hostname
其中hostname为建立SSH服务器的计算机IP地址或机器名,username为用于登陆该计算机的用户名称,如果根据前面的服务器配置步骤,应当就是该计算现有的某个账户名称。如我的是ssh ytictsoft@10.99.0.54
如果是所用的客户端计算机是第一次登陆SSH服务器,命令行中会提示“Are you sure you want to continue connecting (yes/no) ?”,只要输入yes即可,SSH服务器会自动将这次的登陆信息存储在/.ssh/known_host文件中。
接着屏幕中会提示输入登陆账户的密码,也就是ssh服务器中登陆账户的密码,当显示“Fanfare!!! You are successfully logged in to this server!!!”时(我的怎么没有任何信息提示),说明已经成功登陆到ssh服务器计算机内了,需要注意的是,此时在当前控制台内输入的命令都将在ssh服务器计算机里运行。
如果要退出登陆,只要在命令行中输入exit即可,屏幕中会显示“logout Connection to [hostname] closed.”
3) HBASE
HBSE安装路径下的./conf/hbase-env.sh是用来配置它依赖的运行环境的,打开并将下面的语句拷贝到后面
export HBASE_IDENT_STRING=$HOSTNAME as this most likely does not inlcude spaces.(加红部分是原文有的但我实在没看明白是命令语句的一部分还是解释语句,反正我感觉肯定不是命令)
HBSE安装路径下的./conf/hbase-default.xml为配置文件(不知是不是版本问题,我的是0.90.3,该文件实际上在srcmain
esources里)。改以下值:
.hbase.rootdir must read e.g.
file:///D:/cygwin/root/tmp/hbase/data(版本不一样,实际上应该是file:///D:/cygwin/root/tmp/hbase_${user.name}/hbase,实际上没有hbase文件夹,我自己建了一个)
.hbase.tmp.dir must read
D:/cygwin/root/tmp/hbase/tmp(实际上应该是D:/cygwin/tmp/hbase_${user.name})
3.hbase.zookeeper.quorum must read
127.0.0.1 because for some reason localhost doesn't seem to resolve
properly on Cygwin.
最后Make sure the configured hbase.rootdir and
hbase.tmp.dir directories exist and have the proper rights set up
e.g. by issuing a chmod 777 on them.
HBSE安装路径下的./conf/hbase-default.xml为配置文件(hbase-default.xml是供参考的默认配置文件,在srcmain
esources里,实际上的配置文件应该是./conf/hbase-site.xml)。改以下值(参考hbase-default.xml的写法,增加到hbase-site.xml的
3.hbase.zookeeper.quorum must read 127.0.0.1 because for some reason localhost doesn't seem to resolve properly on Cygwin.
最后Make sure the configured hbase.rootdir and hbase.tmp.dir directories exist and have the proper rights set up e.g. by issuing a chmod 777 on them.
测试
This should conclude the installation and configuration of HBase on Windows using Cygwin. So it's time to test it.
4.
put 'test', 'row1', 'data:1', 'value1'
put 'test', 'row2', 'data:2', 'value2'
put 'test', 'row3', 'data:3', 'value3'
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26216595/viewspace-1120677/ ,如需转载,请注明出处,否则将追究法律责任。