搜索结果
查询Tags标签： 数据仓库，共有 63条记录-
ClickHouse(21)ClickHouse集成Kafka表引擎详细解析
目录Kafka表集成引擎配置Kerberos 支持虚拟列资料分享 参考文章Kafka表集成引擎 此引擎与Apache Kafka结合使用。 Kafka 特性：发布或者订阅数据流。 容错存储机制。 处理流数据。老版Kafka集成表引擎参数格式： Kafka(kafka_broker_list, kafka_topic_list, kafka_group_…
2024/1/13 11:02:54 人评论 次浏览 -
ClickHouse(20)ClickHouse集成PostgreSQL表引擎详细解析
目录PostgreSQL 创建一张表 实施细节 用法示例资料分享 参考文章PostgreSQL PostgreSQL 引擎允许 ClickHouse 对存储在远程 PostgreSQL 服务器上的数据执行 SELECT 和 INSERT 查询. 创建一张表 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] (name1…
2024/1/3 11:02:39 人评论 次浏览 -
ClickHouse(19)ClickHouse集成Hive表引擎详细解析
目录Hive集成表引擎 创建表使用示例 如何使用HDFS文件系统的本地缓存查询 ORC 输入格式的Hive 表 在 Hive 中建表 在 ClickHouse 中建表查询 Parquest 输入格式的Hive 表 在 Hive 中建表 在 ClickHouse 中建表查询文本输入格式的Hive表 在Hive 中建表 在 ClickHouse 中建表…
2023/12/23 18:03:24 人评论 次浏览 -
ClickHouse(16)ClickHouse日志引擎Log详细解析
日志引擎系列 这些引擎是为了需要写入许多小数据量（少于一百万行）的表的场景而开发的。 这系列的引擎有：StripeLog Log TinyLog共同属性 引擎：数据存储在磁盘上。写入时将数据追加在文件末尾。不支持突变操作,也就是更新。不支持索引。 这意味着 `SELECT` 在范围查询时…
2023/12/4 18:32:58 人评论 次浏览 -
ClickHouse主键索引最佳实践
在本文中，我们将深入研究ClickHouse索引。我们将对此进行详细说明和讨论：ClickHouse的索引与传统的关系数据库有何不同 ClickHouse是怎样构建和使用主键稀疏索引的 ClickHouse索引的最佳实践这篇文章主要关注稀疏索引，clickhouse主键使用的就是稀疏索引。 数据集 在本文…
2023/4/28 1:22:12 人评论 次浏览 -
Centos安装Docker，使用Docker安装Oracle数据库
1 安装Docker第一步：安装一组工具sudo yum install -y yum-utils第二步：设置 yum 仓库地址sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.reposudo yum-config-manager --add-repo http://mirrors.aliyun.…
2022/10/22 2:23:53 人评论 次浏览 -
Hadoop生态系统（数据仓库Hive的安装）
一、数据仓库数据仓库是一个面向主题的、集成的、随时间变化，但信息本身相对稳定的数据集合，相比于传统型数据库，它主要用于支持企业或组织的决策分析处理。主要有以下3个特点：数据仓库是面向主题的：数据仓库中的数据是按照一定的主题域进行组织，大概意思就是说存的…
2022/10/19 5:24:52 人评论 次浏览 -
docker-搭建本地镜像仓库
1. 搭建本地仓库1.1 下载本地仓库镜像docker pull registry1.2 修改Docker Service配置vim /usr/lib/systemd/system/docker.service修改内容如下：找到Service节点，在ExecStart属性末尾增加新参数.其中IP设置为本地仓库IP。5000端口随意的。--insecure-registry 192.168…
2022/10/17 1:23:54 人评论 次浏览 -
数据库发展史2--数据仓库
回顾数据仓库的发展历程，大致可以将其分为几个阶段：萌芽探索到全企业集成时代、企业数据集成时代、混乱时代--"数据仓库之父"间的论战、理论模型确认时代以及数据仓库产品百家争鸣时代。 数据仓库理论发展历程 上世纪70年代，IBM的E.F.Codd等人提出关系型数…
2022/9/17 2:18:24 人评论 次浏览 -
数据仓库之日期维度表构建
导读 大家好，今日立秋，立秋是阳气渐收、阴气渐长，由阳盛逐渐转变为阴盛的转折。我们上一篇文章 数据仓库之维度表 介绍了数据仓库中维度表，本篇文章在此基础上介绍和构建维度表中的日期维度。Kimball 维度建模中的设计原则提到确保每一个事实表都具有关联的日期维度。…
2022/8/7 23:25:54 人评论 次浏览 -
数据仓库分层
分层原因：把复杂问题简单化，每一层只处理简单的任务，方便定位问题； 减少重复开发，规范数据分层，通过中间层数据能够减少重复计算，且增加计算结果的复用性； 隔离原始数据，不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。 ods（原始数据层）：数据…
2022/7/22 23:27:54 人评论 次浏览 -
数仓-拉链表
一，什么是拉链表 拉链表是针对数据仓库设计中表存储数据的方式而定义的，顾名思义，所谓拉链，就是记录历史。记录一个事物从开始，一直到当前状态的所有变化的信息。 二，用在什么地方 在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 数据量比较大; 表中的部分…
2022/6/23 23:24:27 人评论 次浏览 -
【clickhouse专栏】数据库、数据仓库之间的区别与联系
从本篇文章开始，笔者打算写一个系列的《clickhouse专栏》，其全称是Click Stream,Data WareHouse，简称ClickHouse。从其全称中的“Data WareHouse”，我们可以看出clickhouse的定位是数据仓库。那么“数据仓库”和“数据库”有什么区别呢？理解这点这很重要，理解了二者…
2022/6/7 2:21:06 人评论 次浏览 -
数据库DB与数据仓库DW区别和联系
数据库（DB）和数据仓库（DW）的区别与联系 数据库与数据仓库基础概念： 数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分析操作，侧重…
2022/3/2 19:45:08 人评论 次浏览 -
CDGA:应聘数仓岗，选择企业级别 or 算法团队？
随着信息化、网络化、数字化成为社会发展的大趋势，信息化浪潮冲击着人类社会的各个领域。 衍生出了许多数据相关的岗位，如数据挖掘工程师、大数据开发工程师、数据安全研发工程师、数据产品经理、大数据分析师、大数据系统研发工程师、数据仓库工程师等。 其中数据仓库工…
2022/3/2 11:16:08 人评论 次浏览
