101_Hadoop简介
2021/7/28 23:07:47
本文主要是介绍101_Hadoop简介,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
目录- Hadoop简介
- 1 什么是Hadoop
- 2 Hadoop的特点
- 3 Hadoop的优缺点
- Apache Hadoop的重要组成
- Apache Hadoop完全分布式集群搭建
- 1 搭建虚拟机集群
- 1.1 创建一台虚拟机
- 1.2 给虚拟机挂载操作系统
- 1.3 开启虚拟机并安装操作系统
- 1.4 配置静态IP
- 1.5 防火墙相关命令
- 1.6 配置hostname
- 1.7 配置IP映射
- 2 部署jdk环境
- 3 部署Hadoop集群
- 3.1 环境准备
- 3.2 集群配置
- 3.2.1 HDFS集群配置
- 3.2.2 MapReduce集群配置
- 3.2.3 Yarn集群配置
- 3.3 分发配置
- 4 启动集群
- 4.1 单节点启动
- 4.1.1 启动hdfs
- 4.1.2 启动Yarn
- 4.2 集群群起
- 4.3 Hadoop集群启动停止命令汇总
- 4.1 单节点启动
- 5 配置历史服务器
- 5.1 配置日志的聚集
- 1 搭建虚拟机集群
Hadoop简介
1 什么是Hadoop
Hadoop是一个适合大数据的分布式存储和计算平台.
如前所述,狭义上说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态圈,包括很多其他软件框架.
Hadoop生态圈技术栈 |
---|
Hadoop(HDFS + MapReduce + Yarn) |
Hive数据仓库工具 |
HBase海量列式非关系型数据库 |
Flume数据采集工具 |
Sqoop ETL工具 |
Kafka高吞吐消息中间件 |
...... |
2 Hadoop的特点
- 扩容能力: Hadoop在计算机集群内分配数据并完成计算任务,集群可以方便的扩展到数以千计个节点.
- 低成本: Hadoop通过普通廉价的机器组成服务器集群来分发以及处理数据,以至于成本很低.
- 高效率: Hadoop可以在节点之间动态并行的移动数据,使得速度非常快.
- 可靠性: 能自动维护数据的多份复制,并且能在任务失败后自动的重新部署计算任务.
3 Hadoop的优缺点
- Hadoop的优点
- Hadoop具有存储和处理数据能力的高可靠性.
- Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计地节点中,具有高扩展性.
- Hadoop能够在啊节点之间进行动态地移动数据,并保证各个节点的动态平衡,处理速度非常快,具有高效性.
- Hadoop能够自动保存数据的多个副本,并且能够自动讲失败的任务重新分配,具有高容错性.
- Hadoop的缺点
- Hadoop不适用于低延迟数据访问.
- Hadoop不能存储大量小文件.
- Hadoop不支持多用户写入并任意修改文件.
Apache Hadoop的重要组成
Hadoop=HDFS(分布式文件系统) + MapReduce(分布式计算框架) + Yarn(资源协调框架) + Common模块
- Hadoop HDFS: 一个高可靠,高吞吐量的分布式文件系统,比如: 100T数据存储.采用"分而治之"的思想, 比如将100T的数据拆分为10G一个数据块由一个电脑节点存储这个数据块,对每个数据块进行单独的计算,最后对每个节点的计算结果进行汇总.
图片中涉及到的几个角色:
- NameNode(nn): 存储文件的元数据,比如文件名,文件目录结构,文件属性(包括生成时间,副本数量,文件权限),以及每个文件的块列表所在的DataNode等.
- SecondaryNameNode(2nn): 辅助NameNode更好的工作,用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据快照.
- DataNode(dn): 在本地文件系统存储文件块数据,以及块数据的校验.
- Hadoop MapReduce: 一个分布式的离线并行计算框架, 其作用是: 拆解任务->分散处理->汇整结果
- MapReduce计算 = Map阶段 + Reduce阶段
- Map阶段就是"分"的阶段,并行处理输入数据
- Reduce阶段就是"合"的阶段,对Map阶段结果进行汇总
- Hadoop YARN: 作业调度与集群资源管理的框架,负责计算资源协调
Yarn中有如下几个主要角色,同样,既是角色名,也是进程名,也指代所在计算机节点名称
- ResourceManager: 处理客户端请求,启动/监控ApplicationMaster,监控NodeManager,资源分配与调度
- NodeManager: 单节点上的资源管理,处理来自ResourceManager的命令,处理来自ApplicationMaster的命令
- ApplicationMaster: 数据切分,为应用程序申请资源,并分配给内部任务,任务监控与容错
- Container: 对任务运行环境的抽象,封装了CPU,内存等多位资源以及环境变量,启动命令等任务运行相关的信息
- Hadoop Common: 支持其他模块的工具模块(Configuration, RPC, 序列化机制, 日志操作)
Apache Hadoop完全分布式集群搭建
1 搭建虚拟机集群
1.1 创建一台虚拟机
软件安装版本(如果VMware15闪退就安装12版本的)
1.2 给虚拟机挂载操作系统
1.3 开启虚拟机并安装操作系统
Install centos7
直接回车运行即可
配置语言环境,选择English,点击continue继续按钮
点击DATE&TIME
在地图位置点击中国,选择时区为shanghai,点击左上角的Done按钮完成设置
选择 INSTALLATION DESTINATION
选择I will configure partitioning⾃自定义分区,然后按左上⻆角的蓝⾊色Done按钮
继续点击+
添加swap分区
继续点击+
添加根/分区,不写Desired Capacity的⼤大⼩小,即是把剩余的空间都给了了根/分区
点击Done 完成分区
点击Accept Changes。返回上一页,点击右下⻆角蓝⾊色按钮Begin installation
点击ROOT PASSWORD,输入两遍密码,确认后即可看到程序正在运行安装了
重新启动
1.4 配置静态IP
最好在关机状态下,修改网络
点击编辑,选择倒数第二个选项“虚拟⽹网络编辑器器”,出现下⾯面的“虚拟⽹网络编辑器器”窗口。选择NAT模式,
注意子网IP前三位与NAT设置的网关IP、DHCP网段一致
使用命令:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
打开ifcfg-ens33
文件,修改配置
ONBOOT改为yes, 开启自动启用网络连接
BOOTPROTO改为静态static
IPADDR改为你自己设置的ip (ip可以通过命令 ip addr来获得)
GATEWAY设置网关
设置DNS1作为主DNS,也可以加个DNS2作为备⽤用。
常见的DNS1=8.8.8.8
DNS2=8.8.4.4
按esc退出编辑模式后 :wq!
强制退出并保存;
此时,运⽤用命令ping baidu.com
即可看出已经联通:
1.5 防火墙相关命令
systemctl status firewalld # 查看防火墙的状态 systemctl stop firewalld # 停止防火墙 systemctl disable firewalld # 禁止防火墙开机启动
三台虚拟机关闭防火墙:
第一步,查看防火墙状态:systemctl status firewalld
第二步,关闭三台机器器的selinux: vi /etc/selinux/config
1.6 配置hostname
hostname # 查看主机名 hostnamectl set-hostname linux121 # 修改主机名
另外一种修改主机名的方式:
vi /etc/sysconfig/network
打开network编辑
改动配置文件要进行网络重启: service network restart
从而使配置文件生效
1.7 配置IP映射
vi /etc/hosts
我此时已经配置了了三台机器器的IP与hostname映射,从而可以达到,在本机ping hostname可通,如果没有配此映射,需用ping IP地址可通。如果是三台机器互相用hostname来ping,那么三台机器器必须同时配好三个IP和hostname的映射。
至此,网络配置完成。
2 部署jdk环境
下载jdk安装包,并解压到本地指定位置:
配置环境变量: vim /etc/profile
使环境变量生效: source /etc/profile
查看是否安装成功:
java -version javac
3 部署Hadoop集群
3.1 环境准备
下载hadoop安装包,并解压到指定目录:
配置环境变量: vim /etc/profile
使环境变量生效: source /etc/profile
查看是否安装成功:
hadoop version
3.2 集群配置
Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置
- HDFS集群配置
- 将JDK路径明确配置给HDFS(修改hadoop-env.sh)
- 指定NameNode节点以及数据存储目录(修改core-site.xml)
- 指定SecondaryNameNode节点(修改hdfs-site.xml)
- 指定DataNode从节点(修改etc/hadoop/slaves文件,每个节点配置信息占一行)
- MapReduce集群配置
- 将JDK路径明确配置给MapReduce(修改mapred-env.sh)
- 指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml)
- Yarn集群配置
- 将JDK路径明确配置给Yarn(修改yarn-env.sh)
- 指定ResourceManager老大节点所在计算机节点(修改yarn-site.xml)
- 指定NodeManager节点(会通过slaves文件内容确定)
3.2.1 HDFS集群配置
cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop
vim hadoop-env.sh # 配置:hadoop-env.sh 将JDK路径明确配置给HDFS export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
vim core-site.xml # 指定NameNode节点以及数据存储目录(修改core-site.xml) <!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://linux121:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value> </property> core-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-common/core-default.xml
vim hdfs-site.xml # 指定secondarynamenode节点(修改hdfs-site.xml) <!-- 指定Hadoop辅助名称节点主机配置 --> <property> <name>dfs.namenode.secondary.http-address</name> <value>linux123:50090</value> </property> <!--副本数量 --> <property> <name>dfs.replication</name> <value>3</value> </property> hdfs-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-project-dist/hadoop-hdfs/hdfs- default.xml
vim slaves # 指定datanode从节点(修改slaves文件,每个节点配置信息占一行) linux121 linux122 linux123 注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
3.2.2 MapReduce集群配置
vim mapred-env.sh # 指定MapReduce使用的jdk路径(修改mapred-env.sh) export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml # 指定MapReduce计算框架运行Yarn资源调度框架(修改mapred-site.xml) <!-- 指定MR运行在Yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> mapred-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-mapreduce-client/hadoop-mapreduce- client-core/mapred-default.xml
3.2.3 Yarn集群配置
vim yarn-env.sh # 指定JDK路径 export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231
vim yarn-site.xml # 指定ResourceMnager的master节点信息(修改yarn-site.xml) <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>linux123</value> </property> <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> yarn-site.xml的官方默认配置: https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-common/yarn- default.xml
vim slaves # 指定datanode从节点(修改slaves文件,每个节点配置信息占一行) linux121 linux122 linux123 注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
注意:Hadoop安装目录所属用户和所属用户组信息,默认是501 dialout,而我们操作Hadoop集群的用户使 用的是虚拟机的root用户, 所以为了避免出现信息混乱,修改Hadoop安装目录所属用户和用户组!! chown -R root:root /opt/lagou/servers/hadoop-2.9.2
3.3 分发配置
-
rsync 远程同步工具
- rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
- rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文
件都复制过去。
-
基本语法
rsync -rvl $pdir/$fname $user@$host:$pdir/$fname 命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称
-
选项参数说明
选项 | 功能 |
---|---|
-r | 递归 |
-v | 显示复制过程 |
-l | 拷贝符号连接 |
- 安装rsync
yum -y install rsync
案例:编写shell代码将文件分发到所有服务器
vim rsync-script
:
#!/bin/bash #1 获取命令输入参数的个数,如果个数为0,直接退出命令 paramnum=$# if((paramnum==0)); then echo no params; exit; fi #2 根据传入参数获取文件名称 p1=$1 file_name=`basename $p1` echo fname=$file_name #3 获取输入参数的绝对路径 pdir=`cd -P $(dirname $p1); pwd` echo pdir=$pdir #4 获取用户名称 user=`whoami` #5 循环执行rsync for((host=121; host<124; host++)); do echo ------------------- linux$host -------------- echo "rsync -rvl $pdir/$file_name $user@linux$host:$pdir" rsync -rvl $pdir/$file_name $user@linux$host:$pdir done
修改脚本 rsync-script 具有执行权限: chmod 777 rsync-script
执行命令,分发文件: rsync-script /opt/lagou/servers/hadoop-2.9.2
4 启动集群
4.1 单节点启动
注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode,非第一次不用执行格
式化Namenode操作!!
hadoop namenode -format # 格式化NameNode
格式化命令执行效果:
格式化后创建的文件:/opt/lagou/servers/hadoop-2.9.2/data/tmp/dfs/name/current
4.1.1 启动hdfs
- 在linux121上启动NameNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start namenode [root@linux121 hadoop-2.9.2]$ jps
- 在linux121、linux122以及linux123上分别启动DataNode
[root@linux121 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux121 hadoop-2.9.2]$ jps 3461 NameNode 3608 Jps 3561 DataNode
[root@linux122 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux122 hadoop-2.9.2]$ jps 3190 DataNode 3279 Jps
[root@linux123 hadoop-2.9.2]$ hadoop-daemon.sh start datanode [root@linux123 hadoop-2.9.2]$ jps 3237 Jps 3163 DataNode
- web端查看Hdfs界面
http://linux121:50070/dfshealth.html#tab-overview
查看HDFS集群正常节点:
4.1.2 启动Yarn
- Yarn集群单节点启动
[root@linux123 servers]# yarn-daemon.sh start resourcemanager [root@linux123 servers]# jps 7881 ResourceManager 8094 Jps
[root@linux122 servers]# yarn-daemon.sh start nodemanager [root@linux122 servers]# jps 8166 NodeManager 8223 Jps
[root@linux121 servers]# yarn-daemon.sh start nodemanager [root@linux121 servers]# jps 8166 NodeManager 8223 Jps
4.2 集群群起
- 格式化NameNode
如果已经单节点方式启动了Hadoop,可以先停止之前的启动的Namenode与Datanode进程,如果
之前Namenode没有执行格式化,这里需要执行格式化!
hadoop namenode -format
- 启动HDFS
[root@linux121 hadoop-2.9.2]$ sbin/start-dfs.sh [root@linux121 hadoop-2.9.2]$ jps 4166 NameNode 4482 Jps 4263 DataNode
[root@linux122 hadoop-2.9.2]$ jps 3218 DataNode 3288 Jps
[root@linux123 hadoop-2.9.2]$ jps 3221 DataNode 3283 SecondaryNameNode 3364 Jps
- 启动YARN
[root@linux123 hadoop-2.9.2]$ sbin/start-yarn.sh
注意:NameNode和ResourceManger不是在同一台机器,不能在NameNode上启动 YARN,应该
在ResouceManager所在的机器上启动YARN。
4.3 Hadoop集群启动停止命令汇总
- 分别启动/停止HDFS组件
hadoop-daemon.sh start/stop namenode/datanode/secondarynamenode
- 启动/停止YARN
yarn-daemon.sh start/stop resourcemanager/nodemanager
- 各个模块分开启动/停止(配置ssh免密登录是前提)常用
(1)整体启动/停止HDFS
start-dfs.sh / stop-dfs.sh
(1)整体启动/停止YARN
start-yarn.sh / stop-yarn.sh
5 配置历史服务器
在Yarn中运行的任务产生的日志数据不能查看,为了查看程序的历史运行情况,需要配置一下历史日志
服务器。具体配置步骤如下:
- 配置mapred-site.xml:
[root@linux121 hadoop]$ vi mapred-site.xml
在该文件里面增加如下配置:
<!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>linux121:10020</value> </property> <!-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>linux121:19888</value> </property>
- 分发mapred-site.xml到其它节点
[root@linux121 hadoop]$ rsync-script mapred-site.xml
- 启动历史服务器
[root@linux121 hadoop-2.9.2]$ mr-jobhistory-daemon.sh start historyserver
- 查看历史服务器是否启动
[root@linux121 hadoop-2.9.2]$ jps
- 查看JobHistory
http://linux121:19888/jobhistory
5.1 配置日志的聚集
日志聚集:应用(Job)运行完成以后,将应用运行日志信息从各个task汇总上传到HDFS系统上。
日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和
HistoryManager。
开启日志聚集功能具体步骤如下:
- 配置yarn-site.xml
[root@linux121 hadoop]$ vi yarn-site.xml
在该文件里面增加如下配置:
<!-- 日志聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留时间设置7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property> <property> <name>yarn.log.server.url</name> <value>http://linux121:19888/jobhistory/logs</value> </property>
- 分发yarn-site.xml到集群其它节点
[root@linux121 hadoop]$ rsync-script yarn-site.xml
- 关闭NodeManager 、ResourceManager和HistoryManager
[root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop resourcemanager [root@linux121 hadoop-2.9.2]$ sbin/yarn-daemon.sh stop nodemanager [root@linux121 hadoop-2.9.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
- 删除HDFS上已经存在的输出文件
[root@linux121 hadoop-2.9.2]$ bin/hdfs dfs -rm -R /wcoutput
- 执行WordCount程序
[root@linux121 hadoop-2.9.2]$ hadoop jar share/hadoop/mapreduce/hadoop- mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
- 查看日志,如图所示
这篇关于101_Hadoop简介的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-11-02Win10搭建Hadoop环境
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题