Hadoop入门 常见错误及解决方案
2021/6/25 23:27:35
本文主要是介绍Hadoop入门 常见错误及解决方案,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
常见错误及解决方案
ResourceManager连接失败
INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032
可能原因
1.防火墙没关闭
2.没有启动YARN
root用户和ranan用户两个用户启动集群不统一
一般使用ranan用户启动集群,最好不要在root上启动集群。
不识别主机名
java.net.UnknownHostException: hadoop102: hadoop102 at java.net.InetAddress.getLocalHost(InetAddress.java:1475) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job Submitter.java:146) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415)
可能原因
1.主机名称映射没有配置
在/etc/hosts 文件中添加 192.168.10.102 hadoop102
2.与系统的命令发生冲突
主机名称不要起hadoop、hadoop000等特殊名称
DataNode和NameNode进程同时只能工作一个
具体解决办法
jps 发现进程已经没有,但是重新启动集群,提示进程已经开启。
原因是在linux的根目录下/tep目录中存在启动的进程临时缓存文件,将集群相关进程删除,再重新启动集群。
jps不生效
原因
全局变量没有生效
解决办法
source /etc/profile 重新配置全局坏境变量。
HDFS Web端删除文件没权限
解决办法
在core.xml
中配置HDFS网页登录使用的静态用户
在集群配置的时候,写的可以先不配的地方。
<!-- 配置 HDFS 网页登录使用的静态用户为 ranan --> <property> <name>hadoop.http.staticuser.user</name> <value>ranan</value> </property>
配置成功记得分发到hadoop103、hadoop104
[ranan@hadoop102 hadoop]$ xsync core-site.xml
修改了集群配置记得重启集群
[ranan@hadoop102 hadoop]$ myhadoop.sh stop [ranan@hadoop102 hadoop]$ myhadoop.sh start
这篇关于Hadoop入门 常见错误及解决方案的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-11-02Win10搭建Hadoop环境
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题