搜索结果
查询Tags标签： namenode，共有 103条记录-
《HDFS源码剖析》--初品ing
HDFS HDFS概述 HDFS是Hadoop 分布式文件系统，可以运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。HDFS具有高度容错、高吞吐量、容易扩展、高可靠性等特征。 HDFS是一个主/从体系结构的分布式系统，拥有1个Namenode和多个Datanodes，用户…
2022/8/1 1:23:57 人评论 次浏览 -
HDFS NameNode Hadoop怎么分片
HDFS 上传文件和读文件的流程 (1)由客户端 Client 向 NameNode 节点发出请求; (2)NameNode 向 Client 返回可以存数据的 DataNode 列表，这里遵循机架感应原则(把副本分别放在不同的机架，甚至不同的数据中心); (3)客户端首先根据返回的信息先将文件分块(Hadoop2.X 版本每…
2022/6/1 1:22:34 人评论 次浏览 -
namenode和secondary namenode之间的工作原理 整理
namenode和secondary namenode中涉及到的主要概念就是 1 元数据 2 fsimage (备份元数据) 3 edits （操作日志） namenode为了快速响应随机访问，所以把元数据放在内存，同时为了防止断电导致元数据丢失，在磁盘上存在一个备份元数据的fsimage。当在内存中的元数据更新时，…
2022/5/23 1:04:24 人评论 次浏览 -
HDFS概述
HDFS采用master/slave架构，是分布式文件存储系统，适应一次写入，多次读出的场景，但是不支持文件的修改。 一个HDFS集群是由一个Namenode和一定数目的Datanode组成。Namenode是HDFS集群主节点，Datanode是HDFS集群从节点 HDFS中文件在物理上是分块存储的，块的大小是按照…
2022/4/16 23:14:17 人评论 次浏览 -
namenode rpc 请求队列调优
当 datanode 上新写完一个块，默认会立即汇报给 namenode。在一个大规模 Hadoop 集群上，每时每刻都在写数据，datanode 上随时都会有写完数据块然后汇报给 namenode 的情况。因此 namenode 会频繁处理 datanode 这种快汇报请求，会频繁地持有锁，其实非常影响其他 rpc 的…
2022/4/11 14:13:05 人评论 次浏览 -
大数据概述
1、列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1，HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 client：切分文件，访问HDFS，与namenode交互，获取…
2022/3/2 6:15:37 人评论 次浏览 -
大数据概述.
一.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。1、HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 client：切分文件，访问HDFS，与namenode交互，获取文…
2022/2/28 6:23:43 人评论 次浏览 -
hadoop启动集群时datanode无法启动
原因：格式化namenode，生成了一个新的ID,但是datanode保存的是旧的 方法：到logs中找到datanode log文件，查找复制这个namenode clusterID，找到data目录，/var/data/hadoop/dfs/data/current，把clusterID进行替换，保存，重新启动服务。
2022/2/25 14:22:37 人评论 次浏览 -
hadoop服务无法启动datanode节点
踩坑：start-dfs.sh 成功启动hadoop namenode节点和secondary节点，然而datanode并没有启动 原因：之前重复执行了格式化命令hdfs namenode -format 解决：直接将dfs文件夹和nm-local-dir 删除，再执行hdfs namenode -format 。
2022/2/23 11:21:57 人评论 次浏览 -
Windows下hadoop环境搭建之NameNode启动报错
前言：因为平时工作和日常接触到的大都是的中型项目，所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块，所以就开始关注spark，hadoop，Thrift等工具，以下就以hadoop先开始，包括环境搭建和配置过程中踩坑过程。关于hadoop的环境搭…
2022/2/17 7:14:39 人评论 次浏览 -
Hadoop 简介
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 Ma…
2022/2/10 23:17:59 人评论 次浏览 -
hdfs无法访问namenode无法启动
问题描述： 通过50070发现无法访问hdfs，因为服务器被重启过， hdfs没有启动。 启动hdfs，但是jps发现没有namenode，查看hadoop/logs/xxxx.log发现：Storage directory /tmp/hadoop-abc/dfs/name does not exist原因是重启后服务器删掉了/tmp下的数据。解决方法：hdfs na…
2022/1/25 17:06:17 人评论 次浏览 -
spark-shell报错java.lang.IllegalArgumentException: java.net.UnknownHostException: namenode
在使用spark on yarn启动spark-shell时，发现报错：是说找不到主机名为namenode的主机，那么应该是配置文件出错了。 经过检查，发现是spark-defaults.conf文件配置错误，配置的时候直接将上面复制了下来，导致忘了修改为node1，所以配置时一定要细心更改后完美解决 最近老…
2022/1/5 7:03:47 人评论 次浏览 -
spark-shell报错java.lang.IllegalArgumentException: java.net.UnknownHostException: namenode
在使用spark on yarn启动spark-shell时，发现报错：是说找不到主机名为namenode的主机，那么应该是配置文件出错了。 经过检查，发现是spark-defaults.conf文件配置错误，配置的时候直接将上面复制了下来，导致忘了修改为node1，所以配置时一定要细心更改后完美解决 最近老…
2022/1/5 7:03:47 人评论 次浏览 -
解决HDFS无法启动namenode，报错Premature EOF from inputStream；Failed to load FSImage file, see error(s) above
一.情况描述 启动hadoop后发现无法打开hdfs web界面，50070打不开，于是jps发现少了一个namenode： 查看日志信息，发现如下报错：2022-01-03 23:54:10,993 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Planning to load image: FSImageFile(file=/export/serv…
2022/1/4 1:37:16 人评论 次浏览
