- 每个文件按块方式存储, 每个块的元数据存储在namenode的内存中
- Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问
- Hadoop存档文件可以用作MapReduce的输入
使用Hadoop存档工具
- Hadoop存档是通过archive工具根据一组文件创建而来的,该存档工具运行一个MapReduce作业来并行处理所有的输入文件
- 使用archive
hadoop archive -archiveName files.har /my/files /my
- 第一个选项是存档文件的名称,这里是第一个参数 file.har
- 第二个参数是需要存档的文件
- 第三个参数是HAR文件的输出目录
- 列出HAR文件中的文件
hadoop fs -ls /my/files.har
-
递归列出HAR文件中的文件
hadoop fs -lsr /my/files.har
-
其他文件系统中引用HAR文件,则需要使用不同的URI路径格式,示例如下
hadoop fs -lsr har:///my/files.har/my/files/dir
hadoop fs -lsr har://hdfs-localhost:8020/my/files.har/my/files/dir
第二种格式仍以har方案标示一个HAR文件系统,但是用hdfs指定基础文件系统方案的权限
-
要删除HAR文件,需要使用递归格式进行删除,因为对于基础文件系统来说,HAR文件是一个目录
hadoop fs -rmr /my/files.har
不足
- 新建一个存档文件会创建原始文件的一个副本
- 一旦创建,不能修改
- InputFormat不知道文件已经存档
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31383567/viewspace-2144659/ ，如需转载，请注明出处，否则将追究法律责任。
下一篇：
Linux之 iostat 解读磁盘io
请登录后发表评论
登录
全部评论
最新文章
- Xtrabackup 2.4.18：Unable to obtain lock. Please try again later.
- 单表文件大小文件系统限制后删除部分数据仍无法插入新数据，报the table is full ...
- MySQL ib_logfile current_lsn < page_lsn 导致一查询就崩，如何恢复
- MySQL[bug] 子查询含用户变量，派生条件下推将导致不同版本的查询结果不一致
- MySQL 一个select把实例搞崩了，原来是表数据异常
- MySQL 8.0.25 Bug 报"MY-013132 The table ...is full"
- MySQL 8.x ，查询performance_schema.data_locks造成整个实例 hang了？
- 在启用所有PS性能模式工具的情况下，性能损耗过高，怎么办
- MySQL 如何重建/恢复删除的 sys Schema
- MySQL innodb buffer pool 命中率以及缓存了哪些 InnoDB Table
