IntelliJ IDEA实现Hadoop读写HDFS文件(非Maven、离线版)
2021/6/10 18:25:45
本文主要是介绍IntelliJ IDEA实现Hadoop读写HDFS文件(非Maven、离线版),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
教程目录
- 0x00 教程内容
- 0x01 新建Java项目
- 1. 新建Java项目
- 2. 项目配置
- 0x02 编写HDFS代码
- 1. 编写写HDFS代码
- 2. 编写读HDFS代码
- 0x03 打包到服务器执行
- 1. 设置打包工程
- 2. 打包操作
- 3. 上传服务器并执行
- 0x04 执行结果展示
- 0xFF 总结
- 新建Java项目
- 编写HDFS读写代码
- 打包到服务器执行
实验前提:
a. 安装好了JDK
1. 新建Java项目
a. 新建一个Java项目,配置好Project SDK
,然后Next
,Next
,起个有意义的项目名hadoop-project
:
b. 如果有提示,可以随便选一个
2. 项目配置
a. 右击src,建一个包,比如:com.shaonaiyi
b. 然后编辑项目结构,确保我们的SDKS
已经配置上了我们的JDK(找到我们win本地的JDK主目录即可):
导入之后点击OK
c. 导入我们的HDFS依赖的jar包,一个是公共包,一个是HDFS的依赖包(然后OK
):
1. 编写写HDFS代码
a. 新建一个WriteFile
类
b. 编写WriteFile类代码:
package com.shaonaiyi; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; public class WriteFile { public static void main(String[] args) throws IOException { String content = "Hello,shaonaiyi!\n"; String dest = "hdfs://master:9999/test.txt"; Configuration configuration = new Configuration(); FileSystem fileSystem = FileSystem.get(URI.create(dest), configuration); FSDataOutputStream out = fileSystem.create(new Path(dest)); out.write(content.getBytes("UTF-8")); out.close(); } }
2. 编写读HDFS代码
a. 新建一个ReadFile
类
b. 编写ReadFile类代码:
package com.shaonaiyi; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.*; import java.net.URI; public class ReadFile { public static void main(String[] args) throws IOException { String dest = "hdfs://master:9999/test.txt"; Configuration configuration = new Configuration(); FileSystem fileSystem = FileSystem.get(URI.create(dest), configuration); FSDataInputStream in = fileSystem.open(new Path(dest)); BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(in)); String line = null; while ((line = bufferedReader.readLine()) != null) { System.out.println(line); } in.close(); } }0x03 打包到服务器执行
1. 设置打包工程
a. 选择一种类型的包
b. 因为我们有几个main方法,所以我们可以不选择main方法,直接点击OK
:
c. 排除我们服务器上有的包,即服务器已经有的jar包就不用也把他们打包上去了。
然后一直ok
,执行完,稍等一会可以看到src同级目录下多了个out文件夹。
2. 打包操作
a. 打包
b. 执行完可以看到out目录有jar包了
3. 上传服务器并执行
a. 使用XFtp等工具上传jar包和项目下的即可(此处直接上传到~
路径)hadoop-project.jar
到~
路径下
b. 启动hdfs$HADOOP_HOME/sbin/start-dfs.sh
c. 执行(在jar包当前路径下):
先执行写HDFS的代码(如HDFS上已有/test.txt文件会报错,请先删除或者换名字):hadoop jar hadoop-project.jar com.shaonaiyi.WriteFile
查看是否写内容进去:hadoop fs -cat /test.txt
执行读HDFS的代码:hadoop jar hadoop-project.jar com.shaonaiyi.ReadFile
可以看到展示的效果:
- 本教程不用联网也可以执行HDFS的读写操作,此外,一样也可以执行Spark、机器学习等案例。
- 本教程非常关键,因为网络不好或者是简单的项目,这种传统的方式也是非常简单方便的。
- 关于HDFS的其他相关操作(Maven版本),请查看教程:Java API实现HDFS的相关操作
作者简介:邵奈一
大学大数据讲师、大学市场洞察者、专栏编辑
公众号、微博、CSDN:邵奈一
本系列课均为本人:邵奈一原创,如转载请标明出处
福利:
邵奈一的技术博客导航
这篇关于IntelliJ IDEA实现Hadoop读写HDFS文件(非Maven、离线版)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-11-02Win10搭建Hadoop环境
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题