大数据之hadoop
2021/9/22 23:17:41
本文主要是介绍大数据之hadoop,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
简介
未完待续
架构
未完待续
安装
主机名 | hadoop100 | hadoop101 | hadoop102 |
---|---|---|---|
IP | 192.168.100.100 | 192.168.100.101 | 192.168.100.102 |
前置要求 | jdk、zookeeper | ||
前置要求节点 | zk | zk | zk |
HDFS | JournalNode | JournalNode | JournalNode |
NameNode | NameNode | ||
DataNode | DataNode | DataNode | |
YARN | ResourceManager | ResourceManager | |
NodeManager | NodeManager | NodeManager |
环境配置
JDK安装(三台)
#解压 tar -zxvf jdk-8u271-linux-x64.tar.gz -C /opt/ #添加环境变量 vim /etc/profile export JAVA_HOME=/opt/jdk1.8.0_271 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH #环境变量生效 source /etc/profile
#验证
java -version
HDFS
简介
架构
shell操作hdfs
java操作hdfs
MapReduce
简介
架构
java操作mapreduce
YARN
简介
架构
这篇关于大数据之hadoop的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-14使用AWS Lambda和S3打造智能文件整理器 - (动手搭建系列)
- 2024-11-14Netflix简化营收基础设施中的合同管理工具
- 2024-11-142024年必备的6款开源Terraform神器
- 2024-11-14Spin 3.0来啦:全新功能让你的无服务器Wasm应用开发更上一层楼
- 2024-11-14如何高效管理项目?小团队到大企业的多功能项目管理工具推荐
- 2024-11-1333 张高清大图,带你玩转 KubeSphere 4.1.2 部署与扩展组件安装
- 2024-11-11Spark 新作《循序渐进 Spark 大数据应用开发》简介
- 2024-11-11KubeSphere 社区双周报| 2024.10.25-11.07
- 2024-11-11云原生周刊:Istio 1.24.0 正式发布
- 2024-11-10一个故事,为你理清云开发服务的选择思路