Win10搭建Hadoop环境
2022/11/2 23:24:56
本文主要是介绍Win10搭建Hadoop环境,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
Win10系统配置hadoop环境
我这里就以hadoop-2.7.3为例子给大家演示,下载链接: 提取码:idxi ,如需下载其他版本,请访问或 ****进行下载
JDK环境配置
1、我使用的是jdk1.8.0_102版本,链接: 提取码:z833
2、不建议安装在C:Program Files下的默认路径。安装完成后,对jdk环境进行配置。 (1)鼠标右键点击“这台电脑”→“属性”→“高级系统设置”→“环境变量”→“系统变量”→“新建”,如下图所示: (2)接着找系统境变量Path,将%JAVA_HOME%in添加进去,如图下所示:
Hadoop环境配置
1、将下载好的压缩包解压到磁盘根目录下。 2、鼠标右键点击“这台电脑”→“属性”→“高级系统设置”→“环境变量”→“系统变量”→“新建”,如下图所示: 3、接着找系统境变量Path,将 %HADOOP_HOME%in;%HADOOP_HOME%sbin 添加进去,如图下所示: 4、拷贝动态库,hadoop.dll拷贝到C盘Windowssystem32目录下与%HADOOP_HOME%sbin目录下。目录下有就不用拷贝,要是缺少文件可在百度上面进行下载。
Hadoop核心组件配置
1、打开hadoop-2.7.0etchadoop文件夹里的hadoop-env.cmd文件,找到set JAVA_HOME;然后配置jdk路径,如图所示: 2、打开hadoop-2.7.0etchadoop文件夹里的hadoop-env.sh文件,找到export JAVA_HOME;然后配置jdk路径,如图所示: 3、在hadoop-2.7.0etchadoop中找到以下几个文件。 core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/F:/hadoop-2.7.3/namenode</value> // 路径不唯一 </property> <property> <name>dfs.datanode.data.dir</name> <value>/F:/hadoop-2.7.3/datanode</value> // 路径不唯一 </property> </configuration>
mapred-site.xml 如果文件名为“mapred-site.xml.template”,请把后面“.template”去掉即可。
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
格式化与启动Hadoop服务
1、在F:hadoop-2.7.3in目录下,地址栏输入cmd,进入后输入hdfs namenode -format或hadoop namenode -format,如下图所示: 2、然后进入sbin目录,命令cd …sbin,输入start-all.cmd,启动后输入jps查看进程,如下图所示:
3、在浏览器里面验证,注意cmd弹窗不要关闭。验证地址:、 4、如果你做到这里了,恭喜你,完成了
这篇关于Win10搭建Hadoop环境的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题
- 2022-08-20【学习打卡】第14天 Hadoop再深入之环境搭建