本文主要是介绍centos7安装hadoop-2.8.0详细过程，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

 

一、下载各项包：

Hadoop：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

jdk：https://www.oracle.com/java/technologies/downloads/　　选择jdk-8u321-linux-x64.tar.gz

注意：下载Hadoop时可能会出现下载较慢的情况，只需重新下载就会变快。

 

二、安装3个虚拟机并实现ssh免密码登录

1、安装3台虚拟机

安装之前选择GNOME且携带开发者工具
安装之前点击网络设置打开开关按钮
安装过程中设置root密码和新建用户

安装完毕后ip和主机对应关系为：
192.168.181.128——hserver1
192.168.181.129——hserver2
192.168.181.130——hserver3

2、设置主机名称建立映射

ssh工具连接上之后，修改主机名

hostname
hostname hserver1
hostname

修改/etc/hosts文件，添加如下内容

vim /etc/hosts

192.168.181.128 hserver1
192.168.181.129 hserver2
192.168.181.130 hserver3

ping -c 3 hserver2

3、生成密钥，使用ssh进行无密码登录

ssh-keygen -t rsa -P ''
回车
ls /root/.ssh/

在hserver1上创建authorized_keys文件

touch /root/.ssh/authorized_keys
vim /root/.ssh/id_rsa.pub

将authorized_keys文件复制到其他机器
直接在SecureFX可视化工具中把128的authorized_keys文件复制到129和130
测试使用ssh进行无密码登录，两两互测

ssh hserver2

 

三、安装jdk

查看当前jdk安装版本

java -version

查看openjdk版本

rpm -qa | grep jdk

除.noarch,其余已有的jdk全部删除

rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64

再运行，查看openjdk是否删除成功

java -version

创建Java目录

mkdir -p /usr/java

把下载好的java安装包复制到刚刚建好的目录下

进入刚刚建好的目录

cd /usr/java

解压缩

tar -zxvf jdk-8u321-linux-x64.tar.gz

查看解压后的文件

ls

编辑Java的配置文件

vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_321
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASS_PATH=.:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME

使文件生效

source /etc/profile

查看Java版本

java -versions

 

四、安装hadoop

以下除特殊说明，三个节点均需配置。

1、安装

在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.8.0.tar上载到该目录下

进入目录并解压

cd /opt/hadoop
tar -xvf hadoop-2.8.0.tar.gz

新建一些目录

mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data

2、配置core-site.xml

vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml

在<configuration>节点内加入配置:

<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/root/hadoop/tmp</value>
　　<description>Abase for other temporary directories.</description>
</property>
<property>
　　<name>fs.default.name</name>
　　<value>hdfs://hserver1:9000</value>
</property>

 3、修改hadoop-env.sh文件

vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}
修改为：

export JAVA_HOME=/usr/java/jdk1.8.0_321

4、修改hdfs-site.xml

vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml

在<configuration>节点内加入配置

<property>
    <name>dfs.name.dir</name>
    <value>/root/hadoop/dfs/name</value>
    <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/root/hadoop/dfs/data</value>
    <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
    <description>need not permissions</description>
</property>

5、新建并且修改mapred-site.xml

复制模板

cp /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml

修改

vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml

在<configuration>节点内加入配置

<property>
　　<name>mapred.job.tracker</name>
　　<value>hserver1:49001</value>
</property>
<property>
　　<name>mapred.local.dir</name>
　　<value>/root/hadoop/var</value>
</property>
<property>
　　<name>mapreduce.framework.name</name>
　　<value>yarn</value>
</property>

6、修改slaves文件，只在主节点

vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves

删除loaclhost，添加：

hserver2
hserver3

7、修改yarn-site.xml文件

vim /opt/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml

在<configuration>节点内加入配置

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hserver1</value>
</property>
<property>
    <description>The address of the applications manager interface in the RM.</description>
    <name>yarn.resourcemanager.address</name>
    <value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
    <description>The address of the scheduler interface.</description>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
    <description>The http address of the RM web application.</description>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
    <description>The https adddress of the RM web application.</description>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
    <description>The address of the RM admin interface.</description>
    <name>yarn.resourcemanager.admin.address</name>
    <value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>2048</value>
    <discription>每个节点可用内存,单位MB,默认8182MB</discription>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

 

五、启动Hadoop

只需要对hserver1进行初始化操作

cd /opt/hadoop/hadoop-2.8.0/bin
./hadoop  namenode  -format

格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件

因为hserver1是namenode，hserver2和hserver3都是datanode，所以只需要再hserver1上执行启动命令即可

cd /opt/hadoop/hadoop-2.8.0/sbin
./start-all.sh
yes 回车

 

六、测试hadoop

关闭防火墙

systemctl stop firewalld.service

本地浏览器访问http://192.168.181.128:50070/自动跳转到了overview页面
本地浏览器里访问如下地址：http://192.168.181.128:8088/自动跳转到了cluster页面

 

这篇关于centos7安装hadoop-2.8.0详细过程的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！