Windows环境下的jdk以及Hadoop3.1.x和3.0.x版本安装(解决天坑系列,hadoop2.x也可以参考!!!!)

2021/6/27 7:16:58

本文主要是介绍Windows环境下的jdk以及Hadoop3.1.x和3.0.x版本安装(解决天坑系列,hadoop2.x也可以参考!!!!),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

Windows环境下的jdk以及Hadoop3.1.x和3.0.x版本安装(解决天坑系列!!!!),这里最需要注意的就是版本!版本!版本!其次就是各种应用插件问题,这里之所以只有3.0.x -> 3.1.x的安装教程,后面会有解释
前期的准备大同小异,可以给各位同学准备几个参考的博客即可

jdk1.8版本(切记,不要贪图高版本)的安装以及环境变量的配置

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html
jdk8以上的版本和不同版本的hadoop会出现各种莫名其妙的问题,建议看准jdk8即可
环境变量的配置看这个链接即可:https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
要做到在cmd下输入 java, javac, java -version三条指令都没有问题(如下图所示),才能进入下一步,切记!!!!!!
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Hadoop3.1.x和3.0.x版本安装

hadoop的windows下安装是很简单的,只要去官网下载好tar.gz包,然后解压即可,先附上hadoop3的下载链接:: https://hadoop.apache.org/release/3.1.2.html.
这里解压有时候会报错,所以建议大家用管理员权限进入文件夹用命令行解压
我这里使用的是WinRAR软件,故可以使用这条命令:start winrar x -y hadoop-3.1.3.tat.gz
图片: 在这里插入图片描述
其次,hadoop的常规配置就是配置环境变量,然后添加 D:\hadoop\hadoop-3.1.3\etc\hadoop 里的配置xml文件,core_site.xml \ hdfs_site.xml \ mapred_site.xml \ yarn_site.xml \ hadoop-env.cmd,这里我不赘述,因为天坑到这一步也没有出现,大家一定先做好上述步骤,附上这一步的链接: https://blog.csdn.net/yongyong2014/article/details/91883547.
链接里面有一个小坑,就是记事本打开hadoop-env.cmd后一定要找到**set JAVA_HOME=%JAVA_HOME%**一行,将其值修改为jdk所在目录,如果目录带有空格,可以通过下面两种方式处理:这里以安装目录为C:\Program Files\Java\jdk1.8.0_212为例,因为Program Files中存在空格,若是直接使用会出现错误,可以下面两种方式之一进行处理:

  1. 用专用符号代替Program Files:C:\PROGRA~1\Java\jdk1.8.0_212
  2. 或是使用双引号改为
    “C:\Program Files”\Java\jdk1.8.0_212

现在开始,天坑之一(每一个hadoop版本一定要找到对应的源码文件),千万对应版本,不然错误你根本找不到!!
例如:hadoop3.1.x对应adooponwindows-master.zip以及winutils中3.1.0版本
https://link.csdn.net/?target=https%3A%2F%2Fcodeload.github.com%2Fzyj108%2Fapache-hadoop-3.1.0-winutils%2Fzip%2Fmaster
hadoop3.0.x对应adooponwindows-master.zip以及winutils中3.0.0版本
hadoop2.x对应adooponwindows-master.zip以及winutils中2.x版本
https://github.com/steveloughran/winutils
这里附上各种winutils的链接下载,后续操作就是下载后直接替换掉自己hadoop目录下bin文件即可,然后将替换后的bin目录下的hadoop.dll复制到C:\Windows\System32下即可,到此步,可以先去测试一下hadoop环境变量和其他配置是否成功。一定要用三条命令都试试 hadoop / hadoop -version/ winutils,具体显示如下:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如果都可以启动,恭喜,说明前期准备工作全部完毕,可以后续的格式化节点以及启动集群。

天坑之二,查看winutils如果发现报以下错误:”“”由于找不到MSVCR120.dll,无法继续执行代码.重新安装程序可能会解决此问题。“”“,必须安装Microsoft插件《----------这是最坑的-----------》
附上链接:https://www.codeprj.com/blog/a2e8231.html

格式化namenode节点:hadoop namenode -format 或者 hdfs namenode -format,这里不能出现任何异常,否则就往前找问题。
然后cd到安装的hadoop的sbin目录下,start-all.cmd ,如果能正常出现4个弹窗,并jps显示如下图所示,即成功安装!!!!!!!!!!!!!!
在这里插入图片描述
***天坑之三,如果resourceManager报错,解决方法如下 ***:
在这里插入图片描述
D:\hadoop\hadoop-3.1.3\share\hadoop\yarn\timelineservice 将这个文件夹下的hadoop-yarn-server-timelineservice-3.1.1.jar 包 复制到这个路径下 D:\hadoop\hadoop-3.1.3\share\hadoop\yarn 即可解决。

至于其他问题,比如nodemanager启动不了等,那一般就是前面的配置文件等等出问题了,所以大家尤其注意这几个天坑,极难察觉。



这篇关于Windows环境下的jdk以及Hadoop3.1.x和3.0.x版本安装(解决天坑系列,hadoop2.x也可以参考!!!!)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程