搜索结果
查询Tags标签： CDH，共有 10条记录-
CDH更改datanode存储目录
1.问题梳理： CDH集群中，数据文件位置默认在 /dfs/dn 中，这个目录所属的盘符是 /，但是 ‘/’只有50G大小，还有其他各种文件的日志什么的，空间很紧张。今天启动脚本上传文件到hive，因为空间问题一直报错。查阅了资料，需要将CDH集群 HDFS数据存储 更换目录。 通过命令…
2022/8/3 14:22:46 人评论 次浏览 -
CDH升级到CDP大数据集群碰到的问题解析
一、背景2019 年，Cloudera 与 Hortonworks 合并后，彻底完成了转型。Cloudera 果断宣布，对 CDH 和 HDP 两条产品线将仅支持到 2022 年。对于两个产品高度重合的部分会做删减和融合，结果就是推出新的数据平台 CDP （Cloudera Data Platform）。2022 年后，原 CDH 和 HDP…
2022/5/5 23:20:42 人评论 次浏览 -
Flink-1.12.0/1.14.3-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.12.0/1.14.3
**自己编译的Flink源码，并制作相应的parcel，已完成flink1.12和最新flink版本1.14.3.**如果不想自己编译，可以使用我编译和制作好的parcel文件。亲测可用。可以参考我另一篇文章，下载！ flink-parcel制作过程 以CDH6.3.2、FLINK1.9.1为例 (1)下载制作包 git clone http…
2022/2/23 17:24:22 人评论 次浏览 -
专属宿主机脏数据问题
专属宿主机脏数据问题 问题现象：专属宿主机CDH热迁移报错 no common host cpu/mem/disk match resources by specified vm config[cpuQuota:800 mem:32768 diskTotal:0]排查首先确定是否内存，cpu不足，确定是否卷虚拟机 如果资源满足，则怀疑主机上存在脏数据，由于CDH主…
2022/2/18 6:11:47 人评论 次浏览 -
【离线数仓面试】数仓架构：架构、输入输出、流程、框架选型及版本、项目集群规模、分层架构、分层原因
1、数仓架构介绍 神策数据： 云上数仓：https://www.aliyun.com/solution/datavexpo/datawarehouse2、数仓的输入输出 输入系统：用户埋点行为数据、后台产生的业务数据、爬虫数据。 输出系统（BI）：报表系统、大屏展示、用户画像系统、推荐系统3、系统流程 4、框架选型…
2022/1/20 23:16:53 人评论 次浏览 -
【离线数仓面试】数仓架构：架构、输入输出、流程、框架选型及版本、项目集群规模、分层架构、分层原因
1、数仓架构介绍 神策数据： 云上数仓：https://www.aliyun.com/solution/datavexpo/datawarehouse2、数仓的输入输出 输入系统：用户埋点行为数据、后台产生的业务数据、爬虫数据。 输出系统（BI）：报表系统、大屏展示、用户画像系统、推荐系统3、系统流程 4、框架选型…
2022/1/20 23:16:53 人评论 次浏览 -
linux 离线安装mysql
一、卸载CentOS7系统自带mariadb # 查看系统自带的Mariadb [root@CDH-141 ~]# rpm -qa|grep mariadb mariadb-libs-5.5.44-2.el7.centos.x86_64 # 卸载系统自带的Mariadb [root@CDH-141 ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64 # 删除etc目录下的my…
2021/6/20 2:27:04 人评论 次浏览 -
cdh 大数据平台搭建
安装包下载 链接: https://pan.baidu.com/s/1dyvSej5tSrUC4ja8-usqvA 提取码: a9hx 上传压缩包 上传cdh6.3.2.tar安装包到linux服务器，并解压 tar -xvf cdh6.3.2.tar -C /tmp/组件安装 安装 expect 命令，实现脚本交互 #所有节点 yum install expect -yrhel 7 默认没有ps…
2021/6/7 10:52:48 人评论 次浏览 -
streamsets实现kafka数据到hbase入库
前期已经实现通过kettle将车辆定位数据从oracle增量同步入到hbase里，运行了一段时间还算稳定。但是kettle毕竟跟cdh是两套体系，而cdh里自带了streamsets，是其体系下“正牌”etl工具。考虑到以后都通过cdh来管理维护更方便，决定尝试通过streamsets来实现数据etl。 由于…
2021/5/11 10:25:26 人评论 次浏览 -
CDH6大数据集群离线安装
CDH6大数据集群离线安装 前言、为什么要用离线的方式安装CDH6大数据集群一、下载安装包二、开通CentOS7云服务器三、编辑映射文件四、配置SSH免密登录五、编写集群分发脚本六、上传CDH6安装包到云服务器七、安装MySQL(主节点)1.下载并安装mysql2. 登录后修改密码（尽量复杂…
2021/4/15 18:27:06 人评论 次浏览
