大数据常用软件安装指南
2022/9/13 23:17:53
本文主要是介绍大数据常用软件安装指南,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
大数据常用软件安装指南
为方便大家查阅,本仓库所有软件的安装方式单独整理如下:
一、基础软件安装
- Linux 环境下 JDK 安装
- Linux 环境下 Python 安装
- 虚拟机静态 IP 及多 IP 配置
二、Hadoop
- Hadoop 单机环境搭建
- Hadoop 集群环境搭建
- 基于 Zookeeper 搭建 Hadoop 高可用集群
三、Spark
- Spark 开发环境搭建
- 基于 Zookeeper 搭建 Spark 高可用集群
四、Flink
- Flink Standalone 集群部署
五、Storm
- Storm 单机环境搭建
- Storm 集群环境搭建
六、HBase
- HBase 单机环境搭建
- HBase 集群环境搭建
七、Flume
- Linux 环境下 Flume 的安装部署
八、Azkaban
- Azkaban3.x 编译及部署
九、Hive
- Linux 环境下 Hive 的安装部署
十、Zookeeper
- Zookeeper 单机环境和集群环境搭建
十一、Kafka
- 基于 Zookeeper 搭建 Kafka 高可用集群
版本说明
由于 Apache Hadoop 原有安装包之间兼容性比较差,所以如无特殊需求,本仓库一律选择 CDH (Cloudera's Distribution, including Apache Hadoop) 版本的安装包。它基于稳定版本的 Apache Hadoop 构建,并做了兼容性测试,是目前生产环境中使用最为广泛的版本。
最新的 CDH 5 的下载地址为:http://archive.cloudera.com/cdh5/cdh/5/ 。这个页面很大且加载速度比较慢,需要耐心等待页面加载完成。上半部分是文档链接,后半部分才是安装包。同一个 CDH 版本的不同框架间都做了集成测试,可以保证没有任何 JAR 包冲突。安装包包名通常如下所示,这里 CDH 版本都是 5.15.2
,前面是各个软件自己的版本 ,未避免出现不必要的 JAR 包冲突,请务必保持 CDH 的版本一致。
hadoop-2.6.0-cdh5.15.2.tar.gz hbase-1.2.0-cdh5.15.2 hive-1.1.0-cdh5.15.2.tar.gz
这篇关于大数据常用软件安装指南的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-14使用AWS Lambda和S3打造智能文件整理器 - (动手搭建系列)
- 2024-11-14Netflix简化营收基础设施中的合同管理工具
- 2024-11-142024年必备的6款开源Terraform神器
- 2024-11-14Spin 3.0来啦:全新功能让你的无服务器Wasm应用开发更上一层楼
- 2024-11-14如何高效管理项目?小团队到大企业的多功能项目管理工具推荐
- 2024-11-1333 张高清大图,带你玩转 KubeSphere 4.1.2 部署与扩展组件安装
- 2024-11-11Spark 新作《循序渐进 Spark 大数据应用开发》简介
- 2024-11-11KubeSphere 社区双周报| 2024.10.25-11.07
- 2024-11-11云原生周刊:Istio 1.24.0 正式发布
- 2024-11-10一个故事,为你理清云开发服务的选择思路