Hadoop核心组件之HDFS的安装与配置
2021/6/10 18:29:47
本文主要是介绍Hadoop核心组件之HDFS的安装与配置,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
教程目录
- 0x00 教程内容
- 0x01 Hadoop的获取
- 1. 官网下载
- 2. 添加微信:shaonaiyi888
- 3. 关注公众号:邵奈一
- 0x02 上传安装包到集群
- 1. 上传安装包到虚拟机
- 0x02 安装与配置Hadoop
- 1. 解压Hadoop
- 2. 配置Hadoop
- 3. 同步Hadoop到slave1、slave2
- 4. 校验HDFS
- 0x03 简便配置
- 1. 环境变量配置
- 2. 域名映射配置
- 0xFF 总结
- Hadoop的获取
- 上传安装包到集群
- 安装与配置Hadoop
- 简便配置
1. 官网下载
a. 为了统一,此处下载Hadoop-2.7.5版本 :
http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/
选择hadoop-2.7.5.tar.gz
进行下载
PS:
HDFS、MapReduce、YARN均是Hadoop核心组件,所以均使用Hadoop安装包,然后再配置即可!
2. 添加微信:shaonaiyi888
3. 关注公众号:邵奈一
a. 回复hadoop获取
0x02 上传安装包到集群1. 上传安装包到虚拟机
a. 可以用XFtp软件上传到master(~/software/
)
1. 解压Hadoop
a. 进入安装包路径下:cd ~/software/
b. 解压hadoop安装包到~/bigdata
路径下(如果没有此文件夹,则先创建)tar -zxvf hadoop-2.7.5.tar.gz -C ~/bigdata/
2. 配置Hadoop
a. 进入hadoop配置文件目录cd ~/bigdata/hadoop-2.7.5/etc/hadoop/
b. 修改配置文件:vi core-site.xml
添加内容:
<property> <name>fs.defaultFS</name> <value>hdfs://master:9999</value> <description>表示HDFS的基本路径</description> </property>
c. 修改配置文件:vi hdfs-site.xml
添加内容:
<property> <name>dfs.replication</name> <value>1</value> <description>表示数据块的备份数量,不能大于DataNode的数量</description> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/hadoop-sny/bigdata/dfs/name</value> <description>表示NameNode需要存储数据的地方</description> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/hadoop-sny/bigdata/dfs/data</value> <description>DataNode存放数据的地方</description> </property>
d. 修改配置文件:vi hadoop-env.sh
修改JAVA_HOME
:export JAVA_HOME=/usr/local/lib/jdk1.8.0_161
e. 修改配置文件:vi slaves
删除里面的localhost
,添加从节点的hostname:slave1
slave2
f. 创建存放数据的文件夹mkdir -p ~/bigdata/dfs/name
mkdir -p ~/bigdata/dfs/data
3. 同步Hadoop到slave1、slave2
a. 在slave1和slave2节点中的hadoop-sny
用户下的主目录下创建bigdata目录:mkdir bigdata
b. 复制master节点上的hadoop主目录到slave1、slave2:scp -r ~/bigdata/hadoop-2.7.5 hadoop-sny@slave1:~/bigdata
scp -r ~/bigdata/hadoop-2.7.5 hadoop-sny@slave2:~/bigdata
c. 复制master节点上的数据文件目录到slave1、slave2:scp -r ~/bigdata/dfs hadoop-sny@slave1:~/bigdata
scp -r ~/bigdata/dfs hadoop-sny@slave2:~/bigdata
d. 复制完成后,可以看到slave1、slave2上已经有hadoop了ls ~/bigdata/
4. 校验HDFS
a. 在master上执行格式化HDFS:cd ~/bigdata/hadoop-2.7.5/bin
./hdfs namenode -format
b. 执行成功后可以看到格式化成功的字样:
c. 启动HDFS:cd ../sbin
./start-dfs.sh
d. 查看三台服务器的进程情况:
PS:发现有进程,已经成功了99%啦!还有1%要上传了文件才知道!
e. 查看Web UI界面
在window用浏览器打开端口(master的ip地址是192.168.128.131
)http://192.168.128.131:50070
f. 截止,HDFS就已经安装好了,但是,我们还发现了两个问题:
- 启动HDFS的时候,要进入到Hadoop的主目录,比较麻烦
- 访问Web UI的时候要输入ip地址,再加端口号,记住ip地址比较困难
1. 环境变量配置
a. 现在我们想要执行hadoop
与start-dfs.sh
等命令是要进入到相应的路径才可以执行的,我们可以将相关的路径配置到环境变量
b. 配置master的环境变量(hadoop-sny
用户)vi ~/.bash_profile
export HADOOP_HOME=~/bigdata/hadoop-2.7.5 PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
c. 使环境变量生效source ~/.bash_profile
d. 校验环境变量是否生效echo $HADOOP_HOME
which hdfs
均有内容输出:
2. 域名映射配置
a. 修改windows的域名映射(与教程:IDEA2018安装与配置 中的道理是一样的
):C:\Windows\System32\drivers\etc\hosts
b. 配置好后,我们就可以在windows的浏览器上用配置的用户名访问了
- 因为之前我们的专栏 复制粘贴玩转大数据系列专栏 用docker安装Hadoop环境时我们没有常规的安装HDFS,所以就补上了这个。
- 感谢您的阅读,我是邵奈一,很高兴认识您。
作者简介:邵奈一
大学大数据讲师、大学市场洞察者、专栏编辑
公众号、微博、CSDN:邵奈一
复制粘贴玩转大数据系列专栏 已经更新完成,请跳转学习!
这篇关于Hadoop核心组件之HDFS的安装与配置的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-11-02Win10搭建Hadoop环境
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题