hadoop 伪分布式安装流程

2021/9/9 23:37:24

编程Tag： 流程文件 export XML 分布式 Hadoop Home

本文主要是介绍hadoop 伪分布式安装流程，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1.首先创建一台虚拟机内存设置最好要大一些要不玩不起来我的设置为100g 然后内存线程什么的根据自己电脑配置来

2.然后配置文件安装jdk什么的前边有已经写好的shell脚本可以直接用或者自己配置也可以

3.准备工作完成后下载hadoop安装包

4.我的是已经下载好了先放在/opt 目录下

5.然后解压文件

tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 解压到什么位置自己选择我的是解压到已经创建好的

/opt/soft/hadoop260 文件夹下

6.解压完成后配置环境

vi /etc/profile

#hadoop environment
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

然后把配置文件粘贴进去

然后 source /etc/proflie 使文件生效

7.打开 hadoop 解压好的文件包进入etc目录下的hadoop文件

cd etc/hadoop/

编辑 hadoop-env.sh 目录添加你的jdk文件目录我的jdk文件解压好放在soft目录下

8. 配置 vi core-site.xml 添加以下配置文件写在configuration 中要不然不会生效

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://192.168.80.181:9000</value>
        </property>
         <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop260/tmp</value>
        </property>
         <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
         <property>
                <name>hadoop.proxyuser.root.users</name>
                <value>*</value>
        </property>

9. vi hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

10.cp mapred-site.xml.template mapred-site.xml 复制文件然后修改

11. vi mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

12.vi yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.localhost</name>
                <value>localhost</value>
        </property>
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

13.hadoop namenode -format 格式化文件

14.start-all.sh 启动文件期间会不断让你输入密码这个密码是虚拟机密码因为没有配置 ssh 这个我后边会有配置

启动文件后一直到结束

15 输入 jps 查看任务

看到启动这5个任务就算你配置成功了

期间会报错的话就是文件配置出错可以自己查看log 目录下日志文件看看报错在哪

16 stop-all.sh 关闭文件查看 jps 任务全部关闭才行然后配置ssh