搜索结果
查询Tags标签： Hadoop，共有 784条记录-
Hadoop单机部署
Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/ Hadoop单机部署 该部署以Red Hat 7为例 安装前提：需先配置好1.8的JAVA环境，可参考JDK的安装配置(Windows、Linux)，Hadoop和Java版本对应关系可参考https://blog.csdn.net/m0_67393619/article/details…
2022/6/12 23:51:27 人评论 次浏览 -
MapReduce入门实例——WordCount
摘要：MapReduce的IDEA配置及WordCount案例目录Maven项目配置pom.xmllog4j.properties编写应用程序IDEA配置Debug Maven项目配置 创建一个空的Maven项目 pom.xml 打开根目录下的pom.xml文件，参考配置： <properties><project.build.sourceEncoding>UTF-8<…
2022/6/9 23:50:21 人评论 次浏览 -
Zookeeper
1.Zookeeper概念 -Zookeeper是Apache hadoop 项目下的一个子项目，是一个树形目录服务 -Zookeeper翻译过来就是动物园管理员，他是用来Hadoop(大象）/Hive（蜜蜂）/Pig(小猪)的管理员。简称zk -Zookeeper是一个分布式的，开源的分布式应用程序的协调服务
2022/6/4 23:22:47 人评论 次浏览 -
Hive-day03_hive介绍和三种交互方式
Hive1.2.1_hive介绍和三种交互方式 1、Hive基本概念 1.1 Hive简介Hive本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据存储，说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更近一步说hive就是一个MapReduce客户端。 思考：计算文件us…
2022/6/1 23:21:46 人评论 次浏览 -
HDFS NameNode Hadoop怎么分片
HDFS 上传文件和读文件的流程 (1)由客户端 Client 向 NameNode 节点发出请求; (2)NameNode 向 Client 返回可以存数据的 DataNode 列表，这里遵循机架感应原则(把副本分别放在不同的机架，甚至不同的数据中心); (3)客户端首先根据返回的信息先将文件分块(Hadoop2.X 版本每…
2022/6/1 1:22:34 人评论 次浏览 -
Hadoop分布式文件系统---HDFS
1.HDFS的产生背景 数据量的增多，需要有一种系统管理多台机器的文件，于是产生DFS(Distributed File System)2.HDFS简介 Hadoop项目的核心之一，用于数据存储，HDFS基于GFS开源实现。3.HDFS优点 处理超大文件--MB到TB级（相对应的它不适用于存储很多小文件） 运行于廉价机…
2022/5/30 23:20:03 人评论 次浏览 -
Spark 程序打包在集群运行
环境准备 1、pom 文件引入相关依赖&插件<dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.0.0</version></dependency></dependencies&…
2022/5/28 1:20:47 人评论 次浏览 -
hadoop2.7.6(一)
一、hadoop的发展 二、hadoop框架 Hadoop Common：基础型功能 Hadoop Distributed File System (HDFS™)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。负责存放数据 Hadoop YARN：作业调度和集群资源管理的框架。负责资源的调配 Hadoop MapReduce：基于 YA…
2022/5/22 23:03:00 人评论 次浏览 -
Hadoop Kerberos配置
创建Hadoop系统用户为Hadoop开启Kerberos，需为不同服务准备不同的用户。 启动服务时需要使用相应的用户。 须在所有节点创建以下用户和用户组。用户划分：User: Group Daemons hdfs: hadoop NameNode, Secondary NameNode, JournalNode, DataNo…
2022/5/4 6:24:02 人评论 次浏览 -
hadoop无法退出安全模式
hadoop无法退出安全模式，报"name node is in safe mode"错误提示。 集群安全模式集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。 基本语法： （1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） （2）…
2022/5/2 6:14:38 人评论 次浏览 -
Could not locate executable null\bin\winutils.exe解决方案
本地Spark程序调试需要使用local提交模式，即将本机当做运行环境，Master和Worker都为本机。运行时直接加断点调试即可。如下： 创建SparkConf的时候设置额外属性，表明本地执行： val conf = new SparkConf().setAppName("WC").setMaster("local[*]"…
2022/4/26 6:16:49 人评论 次浏览 -
Hadoop的JavaAPI
1.配置winutil的环境变量然后在Path变量中加入 2.测试 创建一个普通的Java工程测试FileSystem fs = null;@Beforepublic void init() throws Exception{fs = FileSystem.get(new URI("hdfs://itcast01:9000"), new Configuration(), "root");}@Testpu…
2022/4/24 9:42:35 人评论 次浏览 -
Hadoop安装与常用操作命令
一、大纲 1、HDFS集群环境搭建 2、常见问题 3、HDFS Shell命令使用二、集群环境搭建 下载地址: https://hadoop.apache.org/releases.html 1、初始化目录 在/bigdata/hadoop-3.2.2/下创建目录 mkdir logs secret hadoop_data hadoop_data/tmp hadoop_data/namenode hadoo…
2022/4/22 23:15:25 人评论 次浏览 -
Hadoop生态系统
一、hadoop开源生态介绍 1、云计算与大数据 Iaas:基础设施即服务,通过互联网获得服务，例如亚马逊AWS,openStack Paas:平台即服务,把服务器平台作为一种服务，例如虚拟开发平台，默认安装开发环境,hadoop Saas:软件即服务，例如office365,大量app 2、大数据应用 hadoop提…
2022/4/22 23:15:17 人评论 次浏览 -
YARN线上动态资源调优
背景 线上Hadoop集群资源严重不足，可能存在添加磁盘，添加CPU，添加节点的操作，那么在添加这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改集群Yarn资源配置，然后使其生效。 现有环境 服务器：12台，内存64Gx12=768G，物理cpu16x12=192，磁盘12Tx…
2022/4/21 23:12:52 人评论 次浏览
