-
编辑 删除
HDFS:利用archive管理大量小文件
HDFS:利用archive管理大量小文件 1、查看原目录 [hadoop@hadoop1 ~]$ hadoop fs -lsr /tmp/hartest -rw-r--r-- 2 hadoop supergroup 43 2013-06-13 13:56 /tmp/hartest/a.txt -rw-r--r-- 2 hadoop supergroup 43 2013-06-13 13:56 /tmp/hartest/b.txt -rw-r--r-- 2 hadoop supergroup 43 2013-06-13 13:56 /tmp/hartest/c.txt 2、创建归档 [hadoop@hadoop1 ~]$ hadoop archive -archiveName hartest.har -p /tmp/hartest /tmp/ 13/06/13 14:09:38 INFO mapred.JobClient: Running job: job_20130
-
编辑 删除
HDFS ：利用distcp在hdfs间传送数据
1、 查看数据源的文件是否存在，权限等信息 [hadoop@hadoop1 conf]$ hadoop fs -ls 192.168.2.31:9000/tmp/pageview.log Found 1 items -r--r--r-- 2 hc supergroup 187764409 2013-06-07 14:21 /tmp/pageview.log 2、使用distcp命令进行拷贝 [hadoop@hadoop1 conf]$ hadoop distcp -overwrite hdfs://192.168.2.31:9000/tmp/pageview.log hdfs://hadoop1:9000/tmp/pageview.log 13/06/13 13:29:55 INFO tools.DistCp: srcPaths=[hdfs://192.168.2.31:9000/tmp/pageview.log] 13/06/13 13
