HDFS编程实践(Hadoop3.1.3)
2021/10/5 11:40:46
本文主要是介绍HDFS编程实践(Hadoop3.1.3),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
HDFS编程实践(Hadoop3.1.3)
1,在学习HDFS编程实践前,我们需要启动Hadoop(版本是Hadoop3.1.3)。执行如下命令:
cd /usr/local/hadoop #切换到hadoop的安装目录 ./sbin/start-dfs.sh #启动hadoop
一、利用Shell命令与HDFS进行交互
Hadoop支持很多Shell命令,其中fs是HDFS最常用的命令,利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。
① 查看fs总共支持了哪些命令: ./bin/hadoop fs
② 查看具体某个命令的作用: (例如:我们查看put命令如何使用): ./bin/hadoop fs -help put
1.目录操作:
① 在HDFS中为hadoop用户创建一个用户目录:
cd /usr/local/hadoop ./bin/hdfs dfs -mkdir -p /user/hadoop
■ 该命令中表示在HDFS中创建一个“/user/hadoop”目录,“–mkdir”是创建目录的操作,“-p”表示如果是多级目录,则父目录和子目录一起创建,
这里“/user/hadoop”就是一个多级目录,因此必须使用参数“-p”,否则会出错。
② 查看目录下的内容:./bin/hdfs dfs -ls .
■ 该命令中 . 表示HDFS中的当前用户目录, 即 “/user/hadoop”目录
■ 列出HDFS上的所有目录命令:./bin/hdfs dfs -ls
③ 创建一个input目录:./bin/hdfs dfs -mkdir input
■ 在HDFS的根目录下创建一个名称为input的目录:./bin/hdfs dfs -mkdir /input
④ rm命令删除一个目录(删除 input 目录):./bin/hdfs dfs -rm -r /input
这篇关于HDFS编程实践(Hadoop3.1.3)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-11-02Win10搭建Hadoop环境
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题