ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 虚拟机建hadoop伪分布执行步骤与问题

虚拟机建hadoop伪分布执行步骤与问题

Linux操作系统 作者:minicopper_bmw 时间:2013-12-16 06:36:41 0 删除 编辑

首先按此教程

伪分布 http://blog.csdn.net/warmspace2008/article/details/8532131

完全分布 http://blog.csdn.net/ab198604/article/details/8250461


所遇问题

Ubuntu修改主机名

主机名存放在/etc/hostname文件中,修改主机名时,编辑hostname文件, 在文件中输入新的主机名并保存该文件即可。

切换到root权限下修改

1.sudo -s或者 su root

2.vi /etc/hostname 打开文件,编辑  更改名称

:w 保存 :q 退出

3.关闭终端,再打开后就可以了。


安装hadoop 从宿主机复制到linux的/usr/local

http://www.superwu.cn/2013/07/31/253

修改xml代码部分

http://os.51cto.com/art/201309/411793_all.htm

http://www.cnblogs.com/bester/p/3279884.html

所遇问题:

1 mkdir /usr/local/hadoop-1.2.1/tmp

http://forum.hadoop.tw/viewtopic.php?f=4&t=726

或者有组的话 :chown [-cfhvR] [--help] [--version] user[:group] file... 

3  DataNode和NameNode未启动

     1).格式化分布式文件系统 $bin/hadoop namenode -format;
     2).启动hadoop守护进程  $bin/start-all.sh:
       Q: 可能会出现"chown: changing ownership of  ‘/hadoop-0.20.203.0/bin/../logs’: Operation not permitted"的错误,
       A:不能自动创建或读取文件夹,跟权限有关系:
then ehter the passwd for root.
At last , type :su
and enter password you've set.
可能文件或目录是用root用户创建的,先用root登录把logs目录删了,然后换成普通账户,再运行bin/start-all.sh
     3).用jps命令检测启动情况 $bin/jps

     正常情况下,在NameNode上会启动NameNode、JobTracker、Secondary NameNode进程 type: sudo paswd root


运行hadoop http://www.cnblogs.com/Seiyagoo/archive/2012/03/04/2378926.html

运行 wordcount:http://blog.sina.com.cn/s/blog_77bec11f0101bryq.html

在/home/han/hadoop-1.1.0创建目录test,在test下创建文本file1和file2,分别输入数个单词。

file1.txt

Hello World

Hello Hadoop

 

file2.txt

Hadoop

World

Hello World

 

在hdfs分布式文件系统创建目录input

bin/hadoop fs -mkdir input

之后可以使用bin/hadoop fs -ls查看

删除目录:bin/hadoop fs -rmr ***

删除文件:bin/hadoop fs -rm ***

 

离开hadoop的安全模式

bin/hadoop dfsadmin -safemode leave

 

将文本文件放入hdfs分布式文件系统中

bin/hadoop fs -put /home/han/hadoop-1.1.0/test/* input

 

执行Hadoop自己带的wordcount例子

bin/hadoop jar hadoop-exampls-1.2.1.jar wordcount input output

 

查看执行结果

bin/hadoop fs -cat output/*


安装hive http://www.cnblogs.com/bjtu-leefon/p/3170044.html

注意,要改:


hadoop@ubuntu:/usr/local/hadoop/hive$ mkdir /usr/local/hadoop/hive/log


hadoop@ubuntu:/usr/local/hadoop/hive$ mkdir /usr/local/hadoop/hive/warehouse


hadoop@ubuntu:/usr/local/hadoop/hive$ mkdir /usr/local/hadoop/hive/tmp






<property>
  <name>hive.metastore.warehouse.dirname>
  <value>/usr/local/hadoop/hive/warehousevalue>
<description>location of default database for the warehousedescription> property> #临时文件目录,这个没有可以添加进去 <property> <name>hive.exec.scratdirname> <value>/usr/local/hadoop/hive/tmpvalue> property> #存放hive相关日志的目录 <property> <name>hive.querylog.locationname> <value>/usr/local/hadoop/hive/logvalue> <description> Location of Hive run time structured log file description> property>
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23638049/viewspace-1114452/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-04-01