搜索结果
查询Tags标签： HDFS，共有 305条记录-
Hadoop的HDFS组件的Xshell命令
Hadoop的HDFS组件的Xshell命令 回顾： 三大组件：HDFS、MR、Yarn 手动搭建好Hadoop集群后，MR这个进程是看不到的，只能看得到HDFS和Yarn的进程HDFS和Yarn遵循主从架构：HDFS主节点：NameNode----简称NNYarn主节点：ResourceManager----简称RM主节点都在master服务器中，所…
2022/2/12 7:14:59 人评论 次浏览 -
6 HDFS shell操作
1 HDFS shell命令行解释说明2 HDFS shell命令行常用操作3 总结 1、创建文件夹 hadoop fs -mkdir [-p] path 为待创建的目录-p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。2 查看指定目录下内容 hadoop fs -ls [-h] [-R] […]path 指定目录路径-h 人性化显…
2022/2/11 7:17:07 人评论 次浏览 -
Hadoop 简介
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，它可以使用户在不了解分布式底层细节的情況下开发分布式程序，充分利用集群的威力进行高速运算和存储。从其定义就可以发现，它解決了两大问题：大数据存储、大数据分析。也就是 Hadoop 的两大核心：HDFS 和 Ma…
2022/2/10 23:17:59 人评论 次浏览 -
Day61
分布式计算框架Map/Reduce 分布式计算框架MapReduce 1、产生背景 Web2.0时代，数据爆炸式、指数级增长，大数据分布式计算需求频繁通过单机内存扩展来增强计算能力，已经无法承载大规模数据量的计算分布式计算开发和维护的复杂与多变，对程序员要求太高 Google公司为了解决…
2022/2/9 23:46:02 人评论 次浏览 -
在hdfs的web页面中下载到windows不成功
在hdfs的web页面中下载到windows不成功 本人在学习的时候跟着操作一模一样，反复看了无数遍都没有不一样的地方，但就是下载不了一点就变成无法访问，在web页面中想要将上传的文件下载下来找了很多文章发现在windows中没有这个虚拟主机名和ip的映射就解析不出来 我在这里…
2022/2/9 7:17:55 人评论 次浏览 -
hdfs无法访问namenode无法启动
问题描述： 通过50070发现无法访问hdfs，因为服务器被重启过， hdfs没有启动。 启动hdfs，但是jps发现没有namenode，查看hadoop/logs/xxxx.log发现：Storage directory /tmp/hadoop-abc/dfs/name does not exist原因是重启后服务器删掉了/tmp下的数据。解决方法：hdfs na…
2022/1/25 17:06:17 人评论 次浏览 -
Flume的四个入门案例（官方）
文章目录 Flume入门案例一：监控端口数据1）案例需求2）需求分析3）实现步骤 Flume入门案例二：实时监控单个追加文件1）案例需求：2）需求分析3）实现步骤 Flume入门案例三：实时监控目录下多个新文件1）案例需求2）需求分析3）实现步骤 Flume入门案例四：实时监控目录下…
2022/1/25 6:05:46 人评论 次浏览 -
Spark-Sql Hint 解决小文件导致查询慢的问题
对一个大表进行了30个天分区的查询, spark客户端显示了所有excutor均已执行完毕. 查看hdfs分区也显示已有数据, desc表名显示表还没作成. 于是用 hadoop fs -ls 看了下hdfs文件数发现有上万个小文件. 导致合并查询结果时间巨长 小文件过多会导致文件系统效率低下.我们可以…
2022/1/23 19:04:49 人评论 次浏览 -
HDFS的API操作
文章目录 1）准备好hadoop相关的资料包2）配置环境变量4）在IDEA创建一个Maven工程HDFSClient（注：若不会初始配置Maven，可参照：https://www.bilibili.com/video/BV1Kr…
2022/1/11 23:11:21 人评论 次浏览 -
HDFS的API操作
文章目录 1）准备好hadoop相关的资料包2）配置环境变量4）在IDEA创建一个Maven工程HDFSClient（注：若不会初始配置Maven，可参照：https://www.bilibili.com/video/BV1Kr…
2022/1/11 23:11:21 人评论 次浏览 -
启动HBase报错master.HMaster: Failed to become active master的解决方法
情况： 已启动ZooKeeper和HDFS，再启动HBase，虽然启动成功，但过了几秒后HBase自动关闭了，并报错。完整的报错信息：master.HMaster: Failed to become active master org.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be upgrade…
2022/1/7 6:03:44 人评论 次浏览 -
启动HBase报错master.HMaster: Failed to become active master的解决方法
情况： 已启动ZooKeeper和HDFS，再启动HBase，虽然启动成功，但过了几秒后HBase自动关闭了，并报错。完整的报错信息：master.HMaster: Failed to become active master org.apache.hadoop.hbase.util.FileSystemVersionException: HBase file layout needs to be upgrade…
2022/1/7 6:03:44 人评论 次浏览 -
spark 实现HDFS小文件合并
一、首先使用sparksql读取需要合并的数据。当然有两种情况，一种是读取全部数据，即需要合并所有小文件。第二种是合并部分数据，比如只查询某一天的数据，只合并某一个天分区下的小文件。val df: DataFrame = spark.sql("sql")二、将读取到的数据写入临时文件中…
2022/1/4 23:10:57 人评论 次浏览 -
spark 实现HDFS小文件合并
一、首先使用sparksql读取需要合并的数据。当然有两种情况，一种是读取全部数据，即需要合并所有小文件。第二种是合并部分数据，比如只查询某一天的数据，只合并某一个天分区下的小文件。val df: DataFrame = spark.sql("sql")二、将读取到的数据写入临时文件中…
2022/1/4 23:10:57 人评论 次浏览 -
解决HDFS无法启动namenode，报错Premature EOF from inputStream；Failed to load FSImage file, see error(s) above
一.情况描述 启动hadoop后发现无法打开hdfs web界面，50070打不开，于是jps发现少了一个namenode： 查看日志信息，发现如下报错：2022-01-03 23:54:10,993 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Planning to load image: FSImageFile(file=/export/serv…
2022/1/4 1:37:16 人评论 次浏览
