搜索结果
查询Tags标签： Flink，共有 524条记录-
从0到1成为Flink源码Contributor之Flink编程模型(3)
前置要求Java技术体系 Junit单元测试 Idea软件使用 Flink自建版本custom-test带有Transformation的HelloWorld程序 我们在上一篇文章的基础上增加一个MapFunction的算子操作，并运行起来 @Test public void testFlinkHelloWorld2() throws Exception {DataStreamSource<…
2022/3/20 22:58:07 人评论 次浏览 -
Flink到底是怎么把你的程序抽象的？
导读： 大家好我是胖子，我想我们大家都知道Flink是有状态的实时计算引擎，很多人不理解一个计算引擎应该怎么做呢，其实这就涉及到了Flink的核心，也就是它的应用程序抽象，我们都知道Flink会将我们编写的程序来进行转换成一个图，接着会进行优化，以及转换成一些可执行的…
2022/3/20 20:28:30 人评论 次浏览 -
Flink StreamExecutionEnvironment 一些细节&Flink 执行模式
flink 上下文换机一些细节Flink 程序可以在 本地环境运行，也可以在集群环境下运行，不同的运算环境，提交的运行过程也不太一样，这就需要运行程序的时候需要获取上下文环境，从而建立起与flink框架的联系，只有获取到上下文环境信息才能将任务分配到不同的taskmanager上…
2022/3/20 6:29:49 人评论 次浏览 -
Flink 部署和整体架构
一、Flink运行部署模式和流程 部署模式： 1、Local 本地部署，直接启动进程，适合调试使用 2、Standalone Cluster集群部署，flink自带集群模式 3、On Yarn 计算资源统一由Hadoop YARN管理资源进行调度，按需使用提高集群的资源利用率，生产环境运行流程 1、用户提交Flink…
2022/3/19 23:39:35 人评论 次浏览 -
大数据_Flink_Java版_状态管理(4)_状态后端---Flink工作笔记0065
然后我们再来看这个,状态后端,这个是个可插入的组件,他主要是用来管理状态的,比如,对状态的维护,还需要有对状态的容错对吧,所以,首先为了保存状态,都是把状态保存到内存中的,但是为了 容错防止,机器down掉,会丢失状态还需要把状态在硬盘中存储一份. 这些复杂的状态管理,在…
2022/3/19 20:29:49 人评论 次浏览 -
大数据_Flink_Java版_数据处理_Watermark在任务间的传递---Flink工作笔记0054
上一节我们说到了waterMark,这个时间数据的作用,我们知道waterMark表示在这个时间数据的,之前的数据都已经传输完了.我们来看,我们知道在flink中,一个任务可以分为多个子任务,那么上游任务的数据,到子任务的时候, 数据我们说,如果设置了keyby那么,他分配下游子任务数据的时…
2022/3/19 9:27:35 人评论 次浏览 -
Flink源码漫游指南＜伍＞ClusterEntrypoint与集群的启动
当用户用Session cli命令启动集群时，首先会在Flink集群启动脚本中调用ClusterEntrypoint抽象类中提供的main()方法，以启动和运行相应类型的集群环境。 也就是说，ClusterEntrypoint是整个集群的入口类，且带有main()方法。在运行时管理中，所有的服务都是通过CE类进行触…
2022/3/18 20:29:04 人评论 次浏览 -
8.Flink实时项目之CEP计算访客跳出
1.访客跳出明细介绍 首先要识别哪些是跳出行为，要把这些跳出的访客最后一个访问的页面识别出来。那么就要抓住几个特征： 该页面是用户近期访问的第一个页面，这个可以通过该页面是否有上一个页面（last_page_id）来判断，如果这个表示为空，就说明这是这个访客这次访问的…
2022/3/10 6:17:32 人评论 次浏览 -
Hudi-集成Flink(Flink操作hudi表)
一、安装部署Flink 1.12Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.准备tar包 flink-1.13.1-bin-scala_2.12.tgz 2.解压tar -zxvf flink-1.13.1-bin…
2022/3/8 23:15:51 人评论 次浏览 -
练习： Flink Sink 将数据 保存 到 HDFS MySQL
1 import lombok.AllArgsConstructor;2 import lombok.Data;3 import lombok.NoArgsConstructor;4 5 @Data6 @NoArgsConstructor7 @AllArgsConstructor8 public class Sensor {9 private String sensor_id; 10 private Long sensor_timeStamp; 11 private Dou…
2022/3/5 2:15:18 人评论 次浏览 -
大数据_Flink_数据处理_运行时架构7_程序结构和数据流图---Flink工作笔记0022
然后我们再来看实际上,flink对数据的处理,反应到代码上可以看到都是对DataStream的处理对吧,然后我们看,可以分成3个部分,一个是source部分,这里就是对源数据流的读取, 然后transformation这个是转换的意思对吧,是对数据流的转换,然后再看sink这个是对数据流的输出 对吧. …
2022/3/1 11:21:59 人评论 次浏览 -
【大数据课程】高途课程实践-Day03：Scala实现商品实时销售统计
〇、概述 1、实现内容 使用Scala编写代码，通过Flink的Source、Sink以及时间语义实现实时销量展示 2、过程 （1）导包并下载依赖 （2）创建数据源数据表并写⼊数据 （3）在Mysql数据库中创建统计结果表 （4）编写Flink计算代码 a.参考ShopMysqlSource.scala 代码，进⾏Fl…
2022/2/28 23:22:16 人评论 次浏览 -
Flink-cdc2.1 分片算法导致GC问题
一、背景 目前 yarn 集群 360 个FLink实时作业，90% 都是使用 flink1.13.3 + cdc2.1 ，在12月17号发现一个流任务：xxx_mysql_kafka 运行无异常，但是一直不往 Kafka 发送最新数据 二、问题排查 1、 根据该任务 application id 查看具体运行在那个 yarn 节点上堡垒机登录该…
2022/2/28 17:22:11 人评论 次浏览 -
Flink学习
一.定义 Flink是一个分布式计算框架，可以处理海量数据，既可以离线批处理，也可以做实时流处理。主要是用于实时流处理。 flink实时流处理的优势可以归纳为三点： ①低延迟 ②高吞吐 ③支持精确一次 从上图，可以看出flink可以接受多种数据源数据，比如socket，file，Ka…
2022/2/28 6:26:04 人评论 次浏览 -
Flink-join的三种方式
Join /**** 将两个数据流,进行join** 如果让两个流能够join上,必须满足以下两个条件* 1.由于数据是分散在多台机器上,必须将join条件相同的数据通过网络传输到同一台机器的同一个分区中(按照条件进行KeyBy)* 2.让每个流中的数据都放慢,等等对方(划分相同类型,长度一样的窗…
2022/2/25 23:25:37 人评论 次浏览
