搜索结果
查询Tags标签： ClickHouse，共有 126条记录-
ClickHouse中“大列”造成的JOIN的内存超限问题
ClickHouse中“大列”造成的JOIN的内存超限问题 “大列”是指单行数据量非常大的列，通常是100KiB以上。这样的列会导致JOIN（通常LEFT JOIN 和 INNER JOIN）出现内存超限的异常。 常用的JOIN算法 这里讨论的是常用的JOIN算法：partial merge join 与 hash join。Direct j…
2024/1/22 1:02:40 人评论 次浏览 -
ClickHouse(21)ClickHouse集成Kafka表引擎详细解析
目录Kafka表集成引擎配置Kerberos 支持虚拟列资料分享 参考文章Kafka表集成引擎 此引擎与Apache Kafka结合使用。 Kafka 特性：发布或者订阅数据流。 容错存储机制。 处理流数据。老版Kafka集成表引擎参数格式： Kafka(kafka_broker_list, kafka_topic_list, kafka_group_…
2024/1/13 11:02:54 人评论 次浏览 -
ClickHouse(20)ClickHouse集成PostgreSQL表引擎详细解析
目录PostgreSQL 创建一张表 实施细节 用法示例资料分享 参考文章PostgreSQL PostgreSQL 引擎允许 ClickHouse 对存储在远程 PostgreSQL 服务器上的数据执行 SELECT 和 INSERT 查询. 创建一张表 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] (name1…
2024/1/3 11:02:39 人评论 次浏览 -
ClickHouse(19)ClickHouse集成Hive表引擎详细解析
目录Hive集成表引擎 创建表使用示例 如何使用HDFS文件系统的本地缓存查询 ORC 输入格式的Hive 表 在 Hive 中建表 在 ClickHouse 中建表查询 Parquest 输入格式的Hive 表 在 Hive 中建表 在 ClickHouse 中建表查询文本输入格式的Hive表 在Hive 中建表 在 ClickHouse 中建表…
2023/12/23 18:03:24 人评论 次浏览 -
ClickHouse(16)ClickHouse日志引擎Log详细解析
日志引擎系列 这些引擎是为了需要写入许多小数据量（少于一百万行）的表的场景而开发的。 这系列的引擎有：StripeLog Log TinyLog共同属性 引擎：数据存储在磁盘上。写入时将数据追加在文件末尾。不支持突变操作,也就是更新。不支持索引。 这意味着 `SELECT` 在范围查询时…
2023/12/4 18:32:58 人评论 次浏览 -
【Clickhouse】ReplaceingMergeTree引擎final实现合并去重探索
前言 在OLAP实践中，在有数据更新的场景中，比如存储订单数据，我们经常会用到ReplaceingMergeTree引擎来去重数据，以获取数据的最新状态。但是ReplaceingMergeTree引擎实现数据的去重合并的操作是异步的，这样在实际查询的时候，其实是仍然有一部分数据是未进行合并的。…
2023/6/8 11:53:05 人评论 次浏览 -
浅谈 ByteHouse Projection 优化实践
预聚合是 OLAP 系统中常用的一种优化手段，在通过在加载数据时就进行部分聚合计算，生成聚合后的中间表或视图，从而在查询时直接使用这些预先计算好的聚合结果，提高查询性能，实现这种预聚合方法大多都使用物化视图来实现。 Clickhouse 社区实现的 Projection 功能类似于…
2023/6/6 18:53:40 人评论 次浏览 -
ClickHouse进阶｜如何自研一款企业级高性能网关组件？
使用原生ClickHouse集群进行节点数据查询和写入时，离不开第三方开源网关组件chproxy支持。但由于chproxy缺少TCP协议支持，导致性能、查询能力等受限。这也成为困扰众多ClickHouse开发者的一大难题。那么，究竟应该如何突破？本文将揭秘火山引擎ByteHouse企业版自研网关组…
2023/5/31 14:22:46 人评论 次浏览 -
万字长文详述ClickHouse在京喜达实时数据的探索与实践
1 前言京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展 Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次深度分页导出导致ES宕机、不能精确去重统计，多个字段聚合计算时性能下降明显。所以引入ClickH…
2023/5/25 11:22:08 人评论 次浏览 -
Elasticsearch与Clickhouse数据存储对比
1 背景 京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次分页导出导致宕机、存储成本较高。 Elasticsearch的查询语句维护成本较高、在聚合计算场景下出…
2023/5/24 11:52:06 人评论 次浏览 -
ClickHouse笔记: Ubuntu/Centos下的安装, 配置和用户管理
ClickHouse ClickHouse 属于 OLAP 数据库 OLTP 与 OLAPOLTP (On-Line Transaction Processing 联机事务处理), 注重事务处理, 数据记录的性能和安全性 OLAP (On-Line Analytical Processing 联机分析处理), 注重数据分析, 重点在查询的性能一般使用 OLTP 数据库做业务数据…
2023/5/16 1:22:03 人评论 次浏览 -
使用 Python 和 Clickhouse 采样进行大型数据集可视化分析
Visual data analysis with Python and Clickhouse sampling 使用 Python 和 Clickhouse 采样进行大型数据集可视化分析 当您使用 Clickhouse 时，通常意味着使用（至少）数十亿个数据点。同时 Python 数据分析工具（包括 Matplotlib）通常使用内存数据集。为了从 2 个世界…
2022/9/10 14:53:29 人评论 次浏览 -
clickhouse高级功能之MaterializeMySQL 踩坑
MaterializeMySQL 简介 MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件，我们需要用到类似 canal 这样的第三方中间件，这无疑增加了系统的复杂度。 ClickHouse 20.8.2.3版本新增加了 M…
2022/9/3 2:24:42 人评论 次浏览 -
CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践
- # 简述 本案例为国内某大健康领域头部公司真实案例(因用户保密要求，暂不透露用户相关信息)。希望文章内容对各位读者使用 CloudCanal 构建实时数仓带来一些帮助。# 业务背景大健康背景下，用户对报表和数据大屏的实时性能要求越来越高。以核酸检测为例，检测结果需要实…
2022/8/30 23:25:01 人评论 次浏览 -
字节跳动基于 ClickHouse 优化实践之“查询优化器”
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 相信大家都对大名鼎鼎的 ClickHouse 有一定的了解了，它强大的数据分析性能让人印象深刻。但在字节大量生产使用中，发现了 ClickHouse 依然存在了一定的限制。例如：缺少完整的 u…
2022/8/29 23:24:29 人评论 次浏览
