ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 学习四:jobtracker和tasktracker无法正常启动

学习四:jobtracker和tasktracker无法正常启动

原创 Linux操作系统 作者:yezhibin 时间:2012-04-18 09:43:57 0 删除 编辑
    按照前面的学习一和学习三的步骤进行配置,我们发现Namenode的MapReduce

jobtracker和DataNode的tasktracker无法正常启动,具体表现如下:

masternode:
# jps
4210 Jps
4156 NameNode

slavenode
# jps
4028 DataNode
4106 TaskTracker

masternode无法启动jobtracker,查找mared-site.xml配置发现以下问题:
mapred.job.tracker
  masternode:54311
value值配置错误,应该添加hdfs://,修改后如下:
  hdfs://masternode:54311

启动service hadoop-0.20-jobtracker start依然无法启动,查看错误日志:
#vi /var/log/hadoop-0.20/hadoop-hadoop-jobtracker-masternode.log

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

其mapred.system.dir并没有定位到/mapred/system目录上,而是使用“/”目录,在masternode节点上mapred-site.xml添加以下的配置:

 mapred.system.dir
 /mapred/system
 


启动jobtracker正常。

总结:

在随机文档CDH3_Installation_Guide-u3.pdf中,以上的配置没有描述清楚,或者描述在不显眼的地方,造成配置的错误,具体如下:
1、在P64页中,描述mapred.job.tracker中对其配置解释如下:
Specifies the hostname and port of the JobTracker's RPC server, in the form. :.
应该改为hdfs://:.

2、在P73页中,创建mapred文件目录命令:
$ sudo -u hdfs hadoop fs -mkdir /mapred/system
$ sudo -u hdfs hadoop fs -chown mapred:hadoop /mapred/system
给出了/(root directory)用户属主hdfs:hadoop
在注释中,需要注意以下一行字:
Add the path for the mapred.system.dir directory to the conf/mapred-site.xml file.





来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/354732/viewspace-721504/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-12-18

  • 博文量
    159
  • 访问量
    505813