4.       distcp

bin/hadoop distcp

递归地拷贝文件或目录。参考DistCp指南以获取等多信息。

用法：hadoop distcp <srcurl> <desturl>

srcurl  源Url

desturl 目标Url

daemonlog

获取或设置每个守护进程的日志级别。

用法：hadoop daemonlog -getlevel <host:port> <name>

用法：hadoop daemonlog -setlevel <host:port> <name> <level>

-getlevel <host:port> <name>    打印运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name>

-setlevel <host:port> <name> <level>    设置运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name>

5.       bin/hdfs shell

dfs                  run a filesystem command on the file systems supported in Hadoop.

namenode -format     format the DFS filesystem

secondarynamenode    run the DFS secondary namenode

namenode             run the DFS namenode

zkfc                 run the ZK Failover Controller daemon

datanode             run a DFS datanode

dfsadmin             run a DFS admin client

haadmin              run a DFS HA admin client

fsck                 run a DFS filesystem checking utility

 balancer             run a cluster balancing utility

jmxget            get JMX exported values from NameNode or DataNode.

oiv                  apply the offline fsimage viewer to an fsimage

oev                  apply the offline edits viewer to an edits file

fetchdt              fetch a delegation token from the NameNode

getconf              get config values from configuration

groups               get the groups which users belong to

1)   balancer

运行集群平衡工具。管理员可以简单的按Ctrl-C来停止平衡过程。参考Rebalancer了解更多。

用法：hadoop balancer [-threshold <threshold>]

-threshold <threshold>  磁盘容量的百分比。这会覆盖缺省的阀值。

2)   datanode

运行一个HDFS的datanode。

用法：hadoop datanode [-rollback]

-rollback   将datanode回滚到前一个版本。这需要在停止datanode，分发老的hadoop版本之后使用。

3)   dfsadmin

bin/hdfs dfsadmin

Usage: java DFSAdmin

Note: Administrative commands can only be run as the HDFS superuser.

           [-report]

           [-safemode enter | leave | get | wait]

           [-saveNamespace]

           [-restoreFailedStorage true|false|check]

           [-refreshNodes]

           [-finalizeUpgrade]

           [-upgradeProgress status | details | force]

           [-metasave filename]

           [-refreshServiceAcl]

           [-refreshUserToGroupsMappings]

           [-refreshSuperUserGroupsConfiguration]

           [-printTopology]

           [-refreshNamenodes datanodehost:port]

           [-deleteBlockPool datanode-host:port blockpoolId [force]]

           [-setQuota <quota> <dirname>...<dirname>]

           [-clrQuota <dirname>...<dirname>]

           [-setSpaceQuota <quota> <dirname>...<dirname>]

           [-clrSpaceQuota <dirname>...<dirname>]

           [-setBalancerBandwidth <bandwidth in bytes per second>]

           [-fetchImage <local directory>]

           [-help [cmd]]

参数说明：

-report 报告文件系统的基本信息和统计信息。

-safemode enter | leave | get | wait    安全模式维护命令。安全模式是Namenode的一个状态，这种状态下，Namenode

1. 不接受对名字空间的更改(只读)

2. 不复制或删除块

Namenode会在启动时自动进入安全模式，当配置的块最小百分比数满足最小的副本数条件时，会自动离开安全模式。安全模式可以手动进入，但是这样的话也必须手动关闭安全模式。

-refreshNodes   重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。

-finalizeUpgrade    终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程。

-upgradeProgress status | details | force   请求当前系统的升级状态，状态的细节，或者强制升级操作进行。

-metasave filename  保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的<filename>文件。对于下面的每一项，<filename>中都会一行内容与之对应

1. Namenode收到的Datanode的心跳信号

2. 等待被复制的块

3. 正在被复制的块

4. 等待被删除的块

-setQuota <quota> <dirname>...<dirname> 为每个目录 <dirname>设定配额<quota>。目录配额是一个长整型整数，强制限定了目录树下的名字个数。

命令会在这个目录上工作良好，以下情况会报错：

1. N不是一个正整数，或者

2. 用户不是管理员，或者

3. 这个目录不存在或是文件，或者

4. 目录会马上超出新设定的配额。

-clrQuota <dirname>...<dirname> 为每一个目录<dirname>清除配额设定。

命令会在这个目录上工作良好，以下情况会报错：

1. 这个目录不存在或是文件，或者

2. 用户不是管理员。

如果目录原来没有配额不会报错。

-help [cmd] 显示给定命令的帮助信息，如果没有给定命令，则显示所有命令的帮助信息。

4)   namenode

运行namenode。有关升级，回滚，升级终结的更多信息请参考升级和回滚。

用法：namenode [-backup] | [-checkpoint] | [-format [-clusterid cid ] [-force] [-nonInteractive] ] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint] | [-initializeSharedEdits] | [-bootstrapStandby] | [-recover [ -force ] ]

-format 格式化namenode。它启动namenode，格式化namenode，之后关闭namenode。

-upgrade    分发新版本的hadoop后，namenode应以upgrade选项启动。

-rollback   将namenode回滚到前一版本。这个选项要在停止集群，分发老的hadoop版本后使用。

-finalize   finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode。

-importCheckpoint   从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定。