基于CentOS安装并配置Hadoop

2021/9/5 7:08:55

本文主要是介绍基于CentOS安装并配置Hadoop,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

基于CentOS安装并配置 Hadoop

  • 1. 下载 Hadoop
  • 2. Xshell 上传至 Linux
  • 3. 解压 Hadoop
  • 4. 配置环境变量
  • 5. 测试 Hadoop
  • 6. Hadoop 目录结构

1. 下载 Hadoop

在 hadoop102 安装 Hadoop:

Hadoop 下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

2. Xshell 上传至 Linux

1)用 XShell 文件传输工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下面

在这里插入图片描述

3. 解压 Hadoop

2)进入到 Hadoop 安装包路径:

cd /opt/software/

3)解压安装文件到/opt/module 下面:

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

4)查看是否解压成功

ls /opt/module/hadoop-3.1.3

4. 配置环境变量

将 Hadoop 添加到环境变量

(1)获取 Hadoop 安装路径

pwd
/opt/module/hadoop-3.1.3

(2)打开/etc/profile.d/my_env.sh 文件

sudo vim/etc/profile.d/my_env.sh
  • my_env.sh 文件末尾添加如下内容:(shift+g)
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
  • 保存并退出: :wq

(3)让修改后的文件生效

source /etc/profile

5. 测试 Hadoop

测试是否安装成功

hadoop version

显示如下:即安装成功!

Hadoop 3.1.3

重启(如果 Hadoop 命令不能用再重启虚拟机)

sudo reboot

6. Hadoop 目录结构

1)查看 Hadoop 目录结构

[zs@hadoop102 hadoop-3.1.3]$ ll
总用量 52
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 bin
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 etc
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 include
drwxr-xr-x. 3 atguigu atguigu 4096 5 月 22 2017 lib
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 libexec
-rw-r--r--. 1 atguigu atguigu 15429 5 月 22 2017 LICENSE.txt
-rw-r--r--. 1 atguigu atguigu 101 5 月 22 2017 NOTICE.txt
-rw-r--r--. 1 atguigu atguigu 1366 5 月 22 2017 README.txt
drwxr-xr-x. 2 atguigu atguigu 4096 5 月 22 2017 sbin
drwxr-xr-x. 4 atguigu atguigu 4096 5 月 22 2017 share

2)重要目录

(1)bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本

(2)etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件

(3)lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)

(4)sbin 目录:存放启动或停止 Hadoop 相关服务的脚本

(5)share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例

加油!

感谢!

努力!



这篇关于基于CentOS安装并配置Hadoop的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程