Hadoop——HDF的Shell命令
2021/11/10 7:14:15
本文主要是介绍Hadoop——HDF的Shell命令,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
指令目录
- 1、创建目录与文件
- 2、显示目录与文件名
- 3、rm删除目录和文件
- 4、put/get上传/下载
- 5、cat、text、tail查看文件内容
- 5、appendToFile追写文件
- 6、du显示占用磁盘空间大小
- 7、cp复制文件
1、创建目录与文件
mkdir创建文件夹:hdfs fs -mkdir [-p] < paths >
touchz新建文件:hdfs fs -touchz URI [URI …]
接受路径指定的uri作为参数,创建这些目录。其行为类似于Unix的mkdir -p,它会创建路径中的各级父目录。
命令 | 解释 | 例子 |
---|---|---|
hdfs fs -mkdir(paths) | 在分布式主目录下新建文件夹 | hdfs dfs -mkdir /test |
hdfs fs -touchz URI [URI …] | 在/test/下新建文件file1 | hdfs dfs -touchz /test/file1 |
2、显示目录与文件名
使用方法:hdfs dfs -ls [-d][-h][-R] < paths >
命令 | 解释 | 例子 |
---|---|---|
hdfs dfs -ls | 列出目录下的所有文件和目录信息 | hdfs dfs -ls /test |
hdfs dfs -ls -d | 列出/test目录信息 | hdfs dfs -mkdir /test |
hdfs dfs -ls -h | 列出目录和文件的大小 | hdfs dfs -ls -h /test |
hdfs dfs -ls -R | 循环列出目录、子目录及文件信息 | hdfs dfs -ls -R /test |
3、rm删除目录和文件
使用方法:hdfs dfs -rm [-f] [-r|-R] < paths >
命令 | 解释 | 例子 |
---|---|---|
hdfs dfs -rm | 删除文件 | hdfs dfs -rm /test/dir0/file1 |
hdfs dfs -rm -r | 级联删除目录下的所有文件和子目录文件 | hdfs dfs -rm -r /test/dir0 |
4、put/get上传/下载
使用方法↓
hdfs dfs -put [-f] [-p] < localsrc > … < dst >
hdfs dfs -get [-p] [-ignoreCrc] [-crc] < src > … < localdst >
put将本地文件系统的复制到HDFS文件系统的目录下
get 将HDFS中的文件复制到本地文件系统中,与-put命令相反
命令 | 解释 | 例子 |
---|---|---|
hdfs dfs -put | / | hdfs dfs -put /test/test.txt |
hdfs dfs -put -f | -f 如果文件在分布式文件系统上已经存在,则覆盖存储,若不加则会报错 | hdfs dfs -put -f /home/hadoop/hfile /test/hfile |
hdfs dfs -put -p | -p 保持源文件的属性(组、拥有者、创建时间、权限等)把本地新建的文件放到分布式文件系统主目录下,保持源文件属性 | hdfs dfs -put -p /home/hadoop/file /test/ |
hdfs dfs -get | 把分布式文件系统目录下的文件复制到本地 | hdfs dfs -get /test/hfile /home/hadoop/hfile |
5、cat、text、tail查看文件内容
使用方法↓
hdfs dfs -cat/text [-ignoreCrc] < src >
Hdfs dfs -tail [-f] < file >
其中,-ignoreCrc 忽循环检验失败的文件;-f 动态更新显示数据,如查看某个不断增长的文件的日志文件。
3个命令都是在命令行窗口查看指定文件内容。区别是 text 不仅可以查看文本文件,还可以查看压缩文件和Avro序列化的文件,其他两个不可以;tail 查看的是最后1KB的文件(Linux上的tail默认查看最后10行记录)。
命令 | 解释 | 例子 |
---|---|---|
hdfs dfs -cat | 查看文件的内容 | hdfs dfs -cat /test/file |
hdfs dfs -text | 查看文件的内容 | hdfs dfs -text /test/file |
hdfs dfs -tail | 查看文件的内容 | hdfs dfs -tail /test/file |
5、appendToFile追写文件
使用方法: hdfs dfs -du [-s] [-h] < path > …
默认按字节显示指定目录所占空间大小。其中,-s显示指定目录下文件总大小;-h按照KMG数据大小单位显示文件大小,如果没有单位,默认为B。
命令 | 解释 | 例子 |
---|---|---|
hdfs dfs -appendToFile | 把本地文件系统文件追加到分布式文件系统中 | hdfs dfs -appendToFile /home/hadoop/file2 /test/file2 |
6、du显示占用磁盘空间大小
使用方法: hdfs dfs -du [-s] [-h] < path > …
默认按字节显示指定目录所占空间大小。其中,-s显示指定目录下文件总大小;-h按照KMG数据大小单位显示文件大小,如果没有单位,默认为B。
命令 | 解释 | 例子 |
---|---|---|
hdfs dfs -du | 显示分布式主目录下文件和目录大小 | hdfs dfs -du /test/ |
hdfs dfs -du -h | 显示分布式主目录下文件和目录大小 | hdfs dfs -du -h /test/ |
hdfs dfs -du -s | 显示分布式主目录下文件和目录大小 | hdfs dfs -du -s /test/ |
7、cp复制文件
将文件从SRC复制到DST,如果指定了多个SRC,则DST必须为一个目录
使用方法:hdfs fs –cp SRC [SRC …] DST
命令 | 例子 | 解释 |
---|---|---|
hdfs dfs -cp | hdfs dfs -cp /test/file2 /test/dir0 | 从/test复制file2文件至/test/dir0目录下 |
这篇关于Hadoop——HDF的Shell命令的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-11-02Win10搭建Hadoop环境
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题