ITPub博客

首页 > 大数据 > 数据挖掘 > Hadoop搭建那些事儿

Hadoop搭建那些事儿

数据挖掘 作者:miffa2008 时间:2012-04-18 16:49:04 0 删除 编辑
终于搭建好hadoop啦(试运行wordcount成功)。
趁热记录下中途碰到的问题:
1、jdk安装修改/etc/profile错误,导致重启后进不去系统
在linux中安装jdk需要编辑 /etc/profile 文件,这个文件一但被错误设置就会导致系统不能登陆,具体症状为:登陆图形界面以后会弹出一个对话框 “您的回话只持续不到10秒种。。。。。。”,点击确定就又重新引导,但是还是不能顺利的登录图形界面。
对于这个问题可以在命令行模式下把最近对 /etc/profile文件所作的修改去掉即可,具体操作如下:
* shift+ctrl+alt+F1进入命令行模式
 /etc/profile文件修改,我本来将新加的配置信息放在“umask 022”前面,后出现了重启进不了系统的情况,应把新加的配置信息放在后面。
umask 022
export JAVA_HOME=/home/kerry/jdk1.6.0_31
export JRE_HOME=/home/kerry/jdk1.6.0_31/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
#umask 022

2、ubuntu下修改hostname
直接 hostname newname。但是重启后失效。
要永久修改,应首先修改 sudo vi /etc/hostname, 然后修改 sudo vi /etc/hosts 
3、UnknownHostException错误
搭建好环境后,运行wordcount,出现如下错误:
ERROR security.UserGroupInformation: PriviledgedActionException as:kerry cause:java.net.UnknownHostException: ubuntu: ubuntu
java.net.UnknownHostException: ubuntu: ubuntu
之前ssh配置成功后,也是只能按照ssh ip的方式连接,而ssh localhost,ssh Hadoop-B等失效,host读取失败。
这个问题是困扰我最长的,在曹牛的帮助下,发现可能由于编码问题,我namenode上的hosts文件失效。
解决:将hosts文件删掉,重新写一份
4、IOException错误
修改好hosts,能成功解析后,运行wordcount任务——hadoop jar hadoop-0.20.1-examples.jar wordcount input output,出现如下错误:
Exceptioninthread"main" java.io.IOException: Error openingjobjar: hadoop-0.20.2-examples.jar at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.util.zip.ZipException: error in opening zip file
        at java.util.zip.ZipFile.open(Native Method)
        at java.util.zip.ZipFile.(ZipFile.java:114)
        at java.util.jar.JarFile.(JarFile.java:135)
        at java.util.jar.JarFile.(JarFile.java:72)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)
解决:这种问题一般是路径对不上,jar文件要在主机上,不能放到HDFS上
5、ConnectException错误
之前问题解决后,重新运行任务,出现如下错误:
java.net.ConnectException: Call to Hadoop-A/192.168.29.130:9000 failed on connection exception: java.net.ConnectException: Connection refused
at org.apache.hadoop.ipc.Client.wrapException(Client.java:1095)
at org.apache.hadoop.ipc.Client.call(Client.java:1071)
at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:225)
at $Proxy1.getProtocolVersion(Unknown Source)
没有弄的特别明白,可能由于之前重新修改过hosts,破坏了hadoop环境。重新format,启动hadoop,任务运行正常
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21703800/viewspace-1120637/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-05-21

最新文章