GBase 8a MPP数据库HDFS问题排查(一)
2021/11/30 19:08:43
本文主要是介绍GBase 8a MPP数据库HDFS问题排查(一),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
简介
GBase 8a集群支持从HDFS上加载数据和将数据导出到HDFS上,本文对HDFS相关问题的分析排查进行简单的介绍。
curl工具
使用curl工具可简便的验证HTTP协议的连通性,以判断HDFS服务器或客户端环境配置问题。
以下命令用于获取HDFS上文件或目录状态,通过-v可以获取详细的诊断信息。
#curl -ivL 'http://dmd1-229:50070/webhdfs/v1/data?user.name=gbase&op=GETFILESTATUS’
*About to connect() to dmd1-229 port 50070
*…
*{“FileStatus”:{…})
类似于主机名错误、端口号错误、文件不存在或文件没有读权限的问题,都可以用curl验证。
-
/etc/hosts未正确配置或主机名错误
#curl -ivL 'http://dmd1-15:50070/webhdfs/v1/data?user.name=gbase&op=GETFILESTATUS’
*getaddrinfo(3) failed for dmd1-15:50070
*Couldn’t resolve host ‘dmd-15’
*… -
端口号错误
#curl -ivL 'http://dmd1-229:8000/webhdfs/v1/data?user.name=gbase&op=GETFILESTATUS’
*About to connect() to dmd1-229 port 8000(#0)
*couldn’t connect to host
*… -
文件不存在
#curl -ivL 'http://dmd1-229:8000/webhdfs/v1/data/test/test.tbl?user.name=gbase&op=GETFILESTATUS’
*About to connect() to dmd1-229 port 8000(#0)
*…
*< HTTP/1.1 404 not Found
*… -
无读取权限
#curl -ivL 'http://dmd1-229:8000/webhdfs/v1/data/test/test.tbl?user.name=gbase&op=GETFILESTATUS’
*About to connect() to dmd1-229 port 8000(#0)
*…
*< HTTP/1.1 403 Forbidden
*…
更多WebHDFS命令格式可访问以下地址:
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
这篇关于GBase 8a MPP数据库HDFS问题排查(一)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-07-02springboot项目无法注册到nacos-icode9专业技术文章分享
- 2024-06-26结对编程到底难不难?答案在这里
- 2024-06-19《2023版Java工程师》课程升级公告
- 2024-06-15matplotlib作图不显示3D图,怎么办?
- 2024-06-1503-Loki 日志监控
- 2024-06-1504-让LLM理解知识 -Prompt
- 2024-06-05做软件测试需要懂代码吗?
- 2024-06-0514-ShardingSphere的分布式主键实现
- 2024-06-03为什么以及如何要进行架构设计权衡?
- 2024-05-31全网首发第二弹!软考2024年5月《软件设计师》真题+解析+答案!(11-20题)