大数据之hadoop

2021/9/22 23:17:41

本文主要是介绍大数据之hadoop,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

简介

未完待续

架构

未完待续

安装

主机名hadoop100hadoop101hadoop102
IP192.168.100.100192.168.100.101192.168.100.102
前置要求jdk、zookeeper
前置要求节点zkzkzk
HDFSJournalNodeJournalNodeJournalNode
NameNodeNameNode
DataNodeDataNodeDataNode
YARNResourceManagerResourceManager
NodeManagerNodeManagerNodeManager

环境配置

JDK安装(三台)

#解压 
tar -zxvf jdk-8u271-linux-x64.tar.gz -C /opt/ 

#添加环境变量
vim /etc/profile 
export JAVA_HOME=/opt/jdk1.8.0_271 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib 
export PATH=$JAVA_HOME/bin:$PATH 

#环境变量生效 
source /etc/profile

#验证
java -version

HDFS

简介

架构

shell操作hdfs

java操作hdfs

MapReduce

简介

架构

java操作mapreduce

YARN

简介

架构



这篇关于大数据之hadoop的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程