搜索结果
查询Tags标签： Flink，共有 524条记录-
使用Flink完成流数据统计
一、统计流程所有流计算统计的流程都是： 1、接入数据源 2、进行多次数据转换操作(过滤、拆分、聚合计算等) 3、计算结果的存储 其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据 Flink程序构建的基本单元是stream和transforma…
2023/12/11 11:33:03 人评论 次浏览 -
聊聊Flink必知必会(二)
Checkpoint与Barrier Flink是一个有状态的流处理框架，因此需要对状态做持久化，Flink定期保存状态数据到存储空间上，故障发生后从之前的备份中恢复，这个过程被称为Checkpoint机制。而Checkpoint为Flink提供了Exactly-Once的投递保障。 流处理是一个数据不断输入的过程，…
2023/6/13 14:23:45 人评论 次浏览 -
实例讲解Flink 流处理程序编程模型
摘要：在深入了解 Flink 实时数据处理程序的开发之前，先通过一个简单示例来了解使用 Flink 的 DataStream API 构建有状态流应用程序的过程。 本文分享自华为云社区《Flink 实例：Flink 流处理程序编程模型》，作者：TiAmoZhang 。 在深入了解 Flink 实时数据处理程序的开…
2023/6/9 18:22:20 人评论 次浏览 -
flink-cdc同步mysql数据到hive
本文首发于我的个人博客网站 等待下一个秋-Flink什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间…
2022/9/17 2:17:16 人评论 次浏览 -
Windows安装Flink20220915
1.官方下载地址 https://flink.apache.org/zh/downloads.html#apache-flink-1144最好用国内镜像下载比较快下载后对压缩包解压，路径自定义2.安装包中是不含启动bat的，需要我们新建 flink.bat1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 …
2022/9/16 5:17:42 人评论 次浏览 -
Calcite
Calcite 是什么？如果用一句话形容 Calcite，Calcite 是一个用于优化异构数据源的查询处理的基础框架。 最近十几年来，出现了很多专门的数据处理引擎。例如列式存储 (HBase)、流处理引擎 (Flink)、文档搜索引擎 (Elasticsearch) 等等。这些引擎在各自针对的领域都有独特的…
2022/9/13 23:18:28 人评论 次浏览 -
Flink-容错机制-检查点原理和算法
一、一致性检查点（Checkpoints）Flink故障恢复机制的核心，就是应用状态的一致性检查点 有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候二、从检查点恢复状…
2022/9/9 1:23:04 人评论 次浏览 -
驱动开发：摘链DKOM进程隐藏
DKOM 即直接内核对象操作，我们所有的操作都会被系统记录在内存中，而驱动进程隐藏就是操作进程的EPROCESS结构与线程的ETHREAD结构、链表，要实现进程的隐藏我们只需要将某个进程中的信息，在系统EPROCESS链表中摘除即可实现进程隐藏。结构体中包含了系统中的所有进程相关…
2022/9/1 5:24:14 人评论 次浏览 -
MySQL出现客户端连接超时异常
一、错误日志2022-08-30 03:14:45 org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer.at org.apache.flink.streaming.runtime.tasks.StreamTask$StreamTaskAsyncExceptionHandler.handleAsyncException(StreamT…
2022/8/31 2:22:59 人评论 次浏览 -
Seatunnel超高性能分布式数据集成平台使用体会
@目录概述定义使用场景特点工作流程连接器转换为何选择SeaTunnel安装下载配置文件部署模式入门示例启动脚本配置文件使用参数示例Kafka进Kafka出的ETL示例Flink Run传递参数 概述 定义http://seatunnel.incubator.apache.org/ https://github.com/apache/incubator-seatun…
2022/8/27 6:23:24 人评论 次浏览 -
Flink出现network.partition.ProducerFailedException: java.lang.NullPointerException
一、错误日志org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException: Error at remote task manager xx.xxx.xxx.xxx/xxx.xxx.xxx.xxx:34750. at org.apache.flink.runtime.io.network.netty.CreditBasedPartitionRequestClientHandler.decodeMs…
2022/8/27 1:24:29 人评论 次浏览 -
Flink1.10定义UDAGG遇到SQL validation failed. null 问题
按照以下代码测试定义的UDAGG会一直出现org.apache.flink.table.api.ValidationException: SQL validation failed. null 问题import org.apache.flink.configuration.JobManagerOptions import org.apache.flink.table.api.scala.BatchTableEnvironment import org.apach…
2022/8/25 2:23:29 人评论 次浏览 -
新一代分布式实时流处理引擎Flink入门实战操作篇
@目录安装部署安装方式Local(Standalone 单机部署)Standalone部署Standalone HA部署Flink On Yarn演示案例概述会话（Session）模式单作业（Per-Job）模式流程演示应用（Application）模式 安装部署 安装方式 Flink安装支持多种方式，包括Flink Local和Flink Standalone、…
2022/8/21 6:56:28 人评论 次浏览 -
Flink总结
Flink总结从头儿过一遍书，做了些摘要。SQL那里还没仔细复习。一、初始Flink核心目标：数据流上的有状态计算具体定位：以内存执行速度（速度快）和任意规模来执行计算（可扩展性强） -> 小松鼠快速灵巧有状态的流处理可用于许多不同场景：事件驱动型应用：以Kafka为代…
2022/8/15 6:26:31 人评论 次浏览 -
1. Flink实时数仓
1. Flink实时数仓 1.1 离线数仓1.2 离线数仓迁移实时数仓1.3 实时数仓1.4 实时ETL1.5 实时指标统计1.6 实时标签导入1.7 端到端的实时处理1.8 端到端的血缘关系1.9 离线实时一体化
2022/8/11 23:25:21 人评论 次浏览
