搜索结果
查询Tags标签： 数据仓库，共有 63条记录-
数据仓库建模理论
1、数仓建模的目标 访问性能： 能够快速查询所需的数据， 减少数据I/O； 数据成本： 减少不必要的数据冗余， 实现计算结果数据复用， 降低大数据系统中的存储成本和计算成本； 使用效率： 改善用户应用体验， 提高使用数据的效率； 数据质量： 改善数据统计口径的不一致性…
2021/10/28 23:40:52 人评论 次浏览 -
Hive 企业应用
一、数据仓库架构设计 数据仓库的主要工作就是ETL（Extract-Transform-Load） 用来描述数据从来源经过装载、抽取、转换到目的端的过程 数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1、数据架构 架构原则：先水平…
2021/10/22 23:15:11 人评论 次浏览 -
Hive 企业应用
一、数据仓库架构设计 数据仓库的主要工作就是ETL（Extract-Transform-Load） 用来描述数据从来源经过装载、抽取、转换到目的端的过程 数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1、数据架构 架构原则：先水平…
2021/10/22 23:15:11 人评论 次浏览 -
ETL讲解（很详细！！！）
ETL讲解（很详细！！！）ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间…
2021/10/12 6:16:25 人评论 次浏览 -
ETL讲解（很详细！！！）
ETL讲解（很详细！！！）ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间…
2021/10/12 6:16:25 人评论 次浏览 -
【大数据】OLTP和OLAP，数据库和数据仓库
在接触大数据之前我们基本都是使用mysql数据库，这种定位为关系型的数据库主要是为了实时业务需要而建表，而在大数据中大多是以分析为主的，读多写少，且如果用传统的关系型数据库则经常会涉及到多表联合查询，因此这种关系型数据库并不适用于分析场景，本文主要是介绍OL…
2021/10/5 19:11:38 人评论 次浏览 -
【大数据】OLTP和OLAP，数据库和数据仓库
在接触大数据之前我们基本都是使用mysql数据库，这种定位为关系型的数据库主要是为了实时业务需要而建表，而在大数据中大多是以分析为主的，读多写少，且如果用传统的关系型数据库则经常会涉及到多表联合查询，因此这种关系型数据库并不适用于分析场景，本文主要是介绍OL…
2021/10/5 19:11:38 人评论 次浏览 -
第7章Hadoop的数据仓库框架-Hive
目录 7.1Hive的配置与安装 7.1.1安装MySQL(1)安装MySQL（2）配置Mysql7.1.2安装和配置Hive （1）安装hive（2）配置环境变量（3）配置hive（4）上传jar包（5）启动hive7.1.3远程连接虚拟机mysql（1）开启虚拟机mysql的远程连接（2）在外部开启sqlyog或者navicat连接就行了…
2021/10/4 23:13:12 人评论 次浏览 -
第7章Hadoop的数据仓库框架-Hive
目录 7.1Hive的配置与安装 7.1.1安装MySQL(1)安装MySQL（2）配置Mysql7.1.2安装和配置Hive （1）安装hive（2）配置环境变量（3）配置hive（4）上传jar包（5）启动hive7.1.3远程连接虚拟机mysql（1）开启虚拟机mysql的远程连接（2）在外部开启sqlyog或者navicat连接就行了…
2021/10/4 23:13:12 人评论 次浏览 -
数据仓库：SQL编码原则
在数据仓库SQL语句的编写过程中，需要遵循一些SQL语句编写的原则，这样做的好处有以下几点：增加SQL语句的可读性； 方便日后的数据校验排查； 提升SQL语句的性能； 提高SQL代码的复用性和扩展性； 减少SQL语句发生异常。下面详细列出SQL语句中需要遵循的编码原则：禁止使…
2021/9/24 19:12:18 人评论 次浏览 -
数据仓库：SQL编码原则
在数据仓库SQL语句的编写过程中，需要遵循一些SQL语句编写的原则，这样做的好处有以下几点：增加SQL语句的可读性； 方便日后的数据校验排查； 提升SQL语句的性能； 提高SQL代码的复用性和扩展性； 减少SQL语句发生异常。下面详细列出SQL语句中需要遵循的编码原则：禁止使…
2021/9/24 19:12:18 人评论 次浏览 -
重磅发布｜新一代云原生数据仓库AnalyticDB「SQL智能诊断」功能详解
SQL是一种简单易用的业务逻辑表达语言，但随着扫描数据量和查询复杂度的增加，查询性能会变得越来越慢。想要对SQL进行调优，往往需要关注以下几个部分： 需要了解引擎架构：用户往往需要对SQL引擎的架构特点有一定的了解，才能和业务的数据分布特征以及业务场景特征完美结…
2021/9/6 19:10:28 人评论 次浏览 -
重磅发布｜新一代云原生数据仓库AnalyticDB「SQL智能诊断」功能详解
SQL是一种简单易用的业务逻辑表达语言，但随着扫描数据量和查询复杂度的增加，查询性能会变得越来越慢。想要对SQL进行调优，往往需要关注以下几个部分： 需要了解引擎架构：用户往往需要对SQL引擎的架构特点有一定的了解，才能和业务的数据分布特征以及业务场景特征完美结…
2021/9/6 19:10:28 人评论 次浏览 -
一招教你数据仓库如何高效批量导入与更新数据
摘要：GaussDB(DWS)支持的MERGE INTO功能，可以同时进行大数据量的更新与插入。对于数据仓库是一项非常重要的技术。 本文分享自华为云社区《一招教你如何高效批量导入与更新数据》，原文作者：acydy。 前言 如果有一张表，我们既想对它更新，又想对它插入应该如何操作？ …
2021/7/21 6:07:54 人评论 次浏览 -
一招教你数据仓库如何高效批量导入与更新数据
摘要：GaussDB(DWS)支持的MERGE INTO功能，可以同时进行大数据量的更新与插入。对于数据仓库是一项非常重要的技术。 本文分享自华为云社区《一招教你如何高效批量导入与更新数据》，原文作者：acydy。 前言 如果有一张表，我们既想对它更新，又想对它插入应该如何操作？ …
2021/7/21 6:07:54 人评论 次浏览
