搜索结果
查询Tags标签： namenode，共有 103条记录-
hadoop 2.x VS 3.x 端口对比
最近配置Hadoop3.x集群的时候发现了一些端口变动，导致web访问UI界面失败，查阅资料写个帖子记录分析一下。 Namenode 端口:2.x端口 3.x端口 name desc50470 9871 dfs.namenode.https-address The namenode secure http server address and port.50070 9870 dfs.namenode.…
2021/5/30 18:20:04 人评论 次浏览 -
HDFS SecondaryNameNode的原理和作用
首发于：https://www.jwldata.com/archives/14.html NameNode与fsimage、edits文件 NameNode（简称NN）负责管理和保存HDFS中所有的元数据，包括但不限于文件/目录结构、文件权限、块ID/大小/数量、副本策略等等。当NameNode在运行时，元数据都是保存在内存中，以保证响应…
2021/5/24 12:28:42 人评论 次浏览 -
HADOOP学习之HDFS学习(二)-命令大全
命令大全 概述 所有的Hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述 用法： hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]命令选项描述–config confdir覆盖缺省配置目录。缺省是${HADOOP_HOME}/confGEN…
2021/5/21 18:56:37 人评论 次浏览 -
【面试题篇-1】HDFS面试题
【面试题篇-1】HDFS面试题 1.HDFS是什么？ 答：HDFS是一个分布式文件存储系统，用来满足对用户的行为数据或者业务数据存储以及数据获取的一个系统，里面数据是以块来进行存储的。 2.你刚才提到了块的概念，HDFS中块的大小以及设计成块的好处是什么？ 答：在Hadoop1.0，块…
2021/5/16 18:27:47 人评论 次浏览 -
HDFS NameNode内存全景
一、概述 从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop集群就将处于不可服务的状态，同时随着数据规模和集群规模地持续增长，很多小量级时被隐藏的问题逐渐暴露出来。所以，从更高层次掌握Name…
2021/5/12 7:27:19 人评论 次浏览 -
HDFS NameNode内存详解
前言 《HDFS NameNode内存全景》中，我们从NameNode内部数据结构的视角，对它的内存全景及几个关键数据结构进行了简单解读，并结合实际场景介绍了NameNode可能遇到的问题，还有业界进行横向扩展方面的多种可借鉴解决方案。 事实上，对NameNode实施横向扩展前，会面临常驻…
2021/5/12 7:27:17 人评论 次浏览 -
HDFS NameNode重启优化
本文已发表于InfoQ，下面的版本又经过少量修订。 一、背景 在Hadoop集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启，不论采用何种架构，重启期间集群整体存在可用性和可靠性的风险，所以优化NameNode重启非常关键。 本文基于Hadoop-…
2021/5/11 20:27:21 人评论 次浏览 -
HDFS Federation在美团点评的应用与改进
一、背景 2015年10月，经过一段时间的优化与改进，美团点评HDFS集群稳定性和性能有显著提升，保证了业务数据存储量和计算量爆发式增长下的存储服务质量；然而，随着集群规模的发展，单组NameNode组成的集群也产生了新的瓶颈： 扩展性：根据HDFS NameNode内存全景和HDFS N…
2021/5/11 18:55:09 人评论 次浏览 -
Hadoop和yarn面试题（详解）
Hadoop优化有哪些方面列出正常工作的hadoop集群中hadoop都分别启动哪些进程以及他们的作用Hadoop总job和Tasks之间的区别是什么？Hadoop高可用HA模式简要描述安装配置一个hadoop集群的步骤fsimage和edit的区别yarn的三大调度策略hadoop的shell命令用的多吗?,说出一些常用…
2021/5/10 18:25:34 人评论 次浏览 -
格式化namenode时：SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: xxx
小白一枚，今天Ubuntu装Hadoop到格式化namenode时，死活成功不了。 /SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: bogon: bogon: 域名解析暂时失败试了半天，找了n多教程，直接绝望，都是说主机名跟配置文件不一致。没有具体操作，实属头疼，…
2021/4/29 20:25:52 人评论 次浏览 -
启动hadoop之后，主节点启动了，而从节点的datanode并没有启动的问题
记录以下遇到的这个问题2021.4.29 问题的起因还是在于hadoop安全模式的问题，我的安全模式之前出了问题，丢失了数据， 导致我每次启动hadoop集群，都需要自己手动关闭hadoop的安全模式， 于是在网上搜索，找到说可以先关闭集群，然后格式化namenode， 按照这样的方式做了…
2021/4/29 14:25:21 人评论 次浏览 -
Automatic failover is enabled for NameNode at hadoop11/192.168.1.11:8020 Refusing to manually manage
Automatic failover is enabled for NameNode at hadoop11/192.168.1.11:8020Refusing to manually manage HA state, since it may causea split-brain scenario or other incorrect state.If you are very sure you know what you are doing, please specify the forcem…
2021/4/13 14:26:09 人评论 次浏览 -
HDFS之namenode文件解析
一、HDFS体系结构HDFS支持主从结构，主节点称为NameNode，从节点称为DateNode，DataNode支持多个节点。HDFS还包含一个SecondaryNameNode进程，表面意思是一个辅助主节点（备用主节点） 伪分布式单节点JPS进程：网络部署结构图：1.NameNode进程NameNode是整个文件系统的管…
2021/4/7 22:08:30 人评论 次浏览
