搜索结果
查询Tags标签： HDFS，共有 305条记录-
5.RDD操作综合实例
准备文件,上传到hdfs上 读文件创建RDD 分词 排除大小写，标点符号 统计词频 排序 输出到文件查看结果 B.一句话实现
2022/4/6 6:22:01 人评论 次浏览 -
大数据Hadoop原理介绍+安装+实战操作（HDFS+YARN+MapReduce）
目录一、Hadoop概述二、HDFS详解1）HDFS概述HDFS的设计特点2）HDFS组成1、Client2、NameNode（NN）3、DataNode（DN）4、Secondary NameNode（2NN）3）HDFS具体工作原理1、两个核心的数据结构: Fslmage和EditLog2、工作流程3、HDFS读文件流程4、HDFS文件写入流程三、Yarn详…
2022/4/5 6:20:35 人评论 次浏览 -
练习： Flink Sink 将数据 保存 到 HDFS MySQL
1 import lombok.AllArgsConstructor;2 import lombok.Data;3 import lombok.NoArgsConstructor;4 5 @Data6 @NoArgsConstructor7 @AllArgsConstructor8 public class Sensor {9 private String sensor_id; 10 private Long sensor_timeStamp; 11 private Dou…
2022/3/5 2:15:18 人评论 次浏览 -
Java kerberos hdfs
hadoop:hdfs:host: hdfs://192.168.0.161:8020path: /app-logsuser: hdfsbatch-size: 105267200 #1024*1024*1024 1Gbatch-rollover-interval: 60000 #1000*60*2 2miniuteskerberos:keytab: C:\ProgramData\MIT\Kerberos5\hdfs.headless.keytabuser: hdfs-test@EMERGEN…
2022/3/3 17:16:50 人评论 次浏览 -
大数据概述
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1)HDFS（分布式文件系统） 负责数据的存储与管理。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据…
2022/2/27 6:23:08 人评论 次浏览 -
hadoop入门(8)：hdfs的java编程-配置
准备环境：hadoop、jdk、maven 软件：IDEA创建maven工程 新建项目选择maven项目，下一步 取名：HadoopProject设置IDEA中的maven点击Preferences选择Build、Execution、Deployment->Build tools->maven 修改这三项 修改成你自己的maven路径、以及你自己的配置文件添…
2022/2/26 12:22:44 人评论 次浏览 -
hadoop入门(9)：hdfs的java编程-创建目录
前言 api文档 为了方便，我先在test下新建 文件编写 创建文件编写文件 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Test;import java.io.IOException;public class Hdfs…
2022/2/26 12:22:40 人评论 次浏览 -
HDFS免重启挂载新磁盘
背景 在生产环境中，集群节点磁盘大小不同，其使用率也会不同，HDFS虽有均衡策略，但也会有数据不平衡的情况，有些节点磁盘就会被打满，然后这个节点就不健康了（Unhealthy Nodes），Yarn的磁盘阈值检查（yarn.nodemanager.disk-health-checker.min-healthy-disks），默认…
2022/2/25 23:52:25 人评论 次浏览 -
使用Flume http进行数据采集
1. 编写Flume http配置文件 [root@sam01 scripts]# vim collect-app-http.conf# filename: collect-app-http.conf # 定义一个名字为 b1001 的agent # 定义channel b1001.channels = ch-1 # 定义source b1001.sources = src-1 # 定义sink b1001.sinks = k1# sink 接到 cha…
2022/2/25 23:24:28 人评论 次浏览 -
hadoop服务无法启动datanode节点
踩坑：start-dfs.sh 成功启动hadoop namenode节点和secondary节点，然而datanode并没有启动 原因：之前重复执行了格式化命令hdfs namenode -format 解决：直接将dfs文件夹和nm-local-dir 删除，再执行hdfs namenode -format 。
2022/2/23 11:21:57 人评论 次浏览 -
hadoop入门(10)：hdfs的java编程-文件的上传与下载
上传文件 方式一：常规流程@Testpublic void uploadFile2Hdfs() throws IOException {// configurationConfiguration configuration = new Configuration();// 设置namenodeconfiguration.set("fs.defaultFS","hdfs://node001:8020");// filesystemF…
2022/2/22 20:26:45 人评论 次浏览 -
hadoop入门(11)：hdfs的java编程-小文件合并
上一篇章涉及到了I/O方式上传下载文件 这一篇我们来实现一下小文件合并 代码/*** 小文件合并：读取本地小文件合并到hdfs的大文件中*/@Testpublic void mergeFile() throws URISyntaxException, IOException, InterruptedException {// 获取分布式文件系统FileSystem file…
2022/2/22 20:24:51 人评论 次浏览 -
Windows下hadoop环境搭建之NameNode启动报错
前言：因为平时工作和日常接触到的大都是的中型项目，所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块，所以就开始关注spark，hadoop，Thrift等工具，以下就以hadoop先开始，包括环境搭建和配置过程中踩坑过程。关于hadoop的环境搭…
2022/2/17 7:14:39 人评论 次浏览 -
Hadoop3.x高可用集群，HDFS、Yarn集群
集群环境规划 将整个 ha 搭建完成后,集群将形成以下模样hadoop101 hadoop102 hadoop103NameNode NameNode NameNodeJournalNode JournalNode JournalNodeDataNode DataNode DataNodeZookeeper Zookeeper ZookeeperZKFC ZKFC ZKFCResourceManager ResourceManager Resource…
2022/2/15 6:12:28 人评论 次浏览 -
格式化集群与启动集群
1.格式化集群 hdfs namenode -format1.1格式化集群后将会在Hadoop目录下生成一个tmp文件夹2.启动集群 2.2启动集群 2.2.1 在启动集群之前，首先输入jps指令，查看进程2.2.2 启动hdfs的脚本 hadoop-daemon.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本 hadoop-daemo…
2022/2/14 23:44:58 人评论 次浏览
