ITPub博客

首页 > 大数据 > 数据挖掘 > 好程序员大数据教程分享HDFS常用shell和web界面介绍

好程序员大数据教程分享HDFS常用shell和web界面介绍

原创 数据挖掘 作者:好程序员IT 时间:2019-07-15 17:28:42 0 删除 编辑

大数据教程分享 HDFS 常用 shell 和 web 界面介绍

最后一个 :块删除的开始时间

HDFS的Shell命令:

ps:无论看到是hdfs dfs 形式还是 hadoop fs 这种形式   都可以   完成对 HDFS的操作

 

1.向HDSF上传文件

 

put: 从本地文件系统赋值单个或多个原路径目标文件到HDFS文件系统中

 

hdfs dfs -put 本地文件路径 HDFS文件系统路径

 

2.将HDFS文件系统中的文件下载回来

 

get:从HDFS文件系统中将文件复制到本地文件系统中

 

hdfs dfs -get HDFS 文件系统路径   本地文件系统路径

 

ps:HDFS有一个和put和get类似的而方法 copyFromlocal 相当于put 和 copyTolocal 相当于 get 3.查看HDFS文件系统中的文件内容

 

cat:查看HDFS文件系统中的文件内容

 

hdfs dfs -cat HDFS文件系统中文件的路径

 

ps:不要查看非文件

 

在查看文件的同时追加文件到本地路径

 

4.HDFS文件系统中进行复制操作

 

cp:将HDFS文件系统中的文件进行复制,复制到HDFS系统中

 

hdfs dfs -cp 源HDFS 文件系统中的文件路径   目标 HDFS文件系统中的路径


5.HDFS文件系统中的文件进行移动操作

 

mv:将源文件移动目标路径,这个命令可允许有多个源路径,此时目标路径必须是一个文件夹(目录)

 

不允许不同的文件系统互相移动文件

 

hdfs dfs -mv 源HDFS 文件系统中的文件路径   目标 HDFS文件系统中的路径

 

相当于剪切

 

6.查看HDFS文件系统中文件的大小

 

hdfs dfs -du HDFS文件系统中路径中的一个文件

 

7.在HDSF系统中创建文件夹

 

mkdir 创建文件夹

 

hdfs dfs -mkdir HDFS文件系统中的路径

 

创建多个文件夹   添加  -p 就是多个文件夹

 

8.查看HDFS文件系统下的所有文件

 

hdfs dfs -ls HDFS文件系统路径

 

9.删除HDFS文件系统中的目录或文件

 

ps: 只能是单个文件   或   空目录

 

hdfs dfs -rm HDFS文件系统路径

 

若参数文件夹中有多个文件   加  -r

 

hdfs dfs -rm -r HDFS文件系统路径

 

10.更改文件的权限

 

r可读 w可写 x可执行

 

- | ---| --- 1代表有权 0 代表没有权限   所有每三位可以作为一个八进制处理例如  rwx | rwx | rwx

 

111 | 111 | 111

 

=========================

 

7 7 7

 

hdfs dfs -chmod 权限值 HDFS文件系统路径若需要更改目录下权限都需要修改

 

hdfs dfs -chmod -R 权限值 HDFS文件系统路径下的文件夹ps:并且文件夹下的所有子文件和文件夹都会被修改

 


11.回收站

 

Hadoop回收站trash,默认是关闭的,建议开启


<property>

 

<name>fs.trash.interval</name>

 

<!-- 开启当前hdfs 中的回收站   时长 : 多长时间清空回收站   单位是分钟 1440就是1天-->

 

<value>1440</value>

 

</property>

 

ps:默认为是没有权限操作回收站的,所以操作之前开启权限 hdfs dfs -chmod -R 777 HDFS文件系统中回收站的路径例子:hdfs dfs -chmod -R 777 /user

 

删除文件后,发现误删了,恢复文件

 

hdfs dfs -mv HDFS文件系统中回收站的路径下的文件 HDFS文件系统路径清空回收站 hdfs dfs -rm -r HDFS文件系统中回收站的路径

 

例如:hdfs dfs -rm -r /user/root/.Trash


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69913892/viewspace-2650598/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
欢迎关注公众号:好程序员特训营 web前端教程分享 723729549 大数据教程分享 703503210

注册时间:2019-03-20

  • 博文量
    539
  • 访问量
    413070