ITPub博客

首页 > 大数据 > Hadoop > hadoop hdfs 命令行 设置文件夹大小的上限 quota:配额

hadoop hdfs 命令行 设置文件夹大小的上限 quota:配额

Hadoop 作者:maorjb 时间:2014-03-12 21:51:31 0 删除 编辑
》bin/hdfs dfs -put readme.txt /finance
》bin/hdfs dfs -du -s /finance
》3901  /finance
》bin/hdfs dfsadmin -setSpaceQuota 4000 /finance
  设置/finance的大小上限为4000个字节
》bin/hdfs dfs -put readme1.txt /finance
  由于已经超出4000个字节,则会报错
14/03/04 11:56:31 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace quota of /finance is exceeded: quota = 4000【配额】 B = 3.91 KB but diskspace consumed = 268443258【消耗】 B = 256.01 MB
        at org.apache.hadoop.hdfs.server.namenode.INodeDirectoryWithQuota.verifyQuota(INodeDirectoryWithQuota.java:191)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.verifyQuota(FSDirectory.java:2054)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.updateCount(FSDirectory.java:1789)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.updateCount(FSDirectory.java:1764)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.addBlock(FSDirectory.java:357)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.saveAllocatedBlock(FSNamesystem.java:2847)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2508)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:555)
        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:387)

》bin/hdfs dfsadmin -clrSpaceQuota /finance 将配额清除掉
》bin/hdfs dfs -put readme1.txt /finance 这次上传就不会错了~

[apache-nutch-1.2.rar 大约248M]
bin/hdfs fsck /finance/apache-nutch-1.2.rar

bin/hdfs fsck /finance/apache-nutch-1.2.rar -files -blocks -locations    将列出block在哪个位置

bin/hdfs dfs -stat "%o %r" /finance/apache-nutch-1.2.rar 查看某个文件有几个副本,及每个block的大小~~~
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/122978/viewspace-1119883/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2008-04-14