搜索结果
查询Tags标签： Flink，共有 524条记录-
Flink Sql With 1.14 Queries 查询-概览（译）
查询 # SELECT语句和VALUES语句是sqlQuery()用TableEnvironment. 该方法将 SELECT 语句（或 VALUES 语句）的结果作为Table. ATable可用于后续 SQL 和 Table API 查询，转换为 DataStream或写入 TableSink。SQL 和 Table API 查询可以无缝混合，并进行整体优化并转换为单个…
2022/2/24 2:22:16 人评论 次浏览 -
Flink Sql With 1.14 查询-窗口函数（TVFs）（译）
流媒体 Windows 是处理无限流的核心。Windows 将流分成有限大小的“桶”，我们可以在这些桶上应用计算。本文档重点介绍如何在 Flink SQL 中执行窗口化，以及程序员如何从其提供的功能中获得最大收益。 Apache Flink 提供了几个窗口表值函数 (TVF) 来将表的元素划分为窗口…
2022/2/24 2:22:01 人评论 次浏览 -
flink学习笔记
1 依赖设置 1 scala的基本依赖设置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="…
2022/2/23 23:26:08 人评论 次浏览 -
Flink-1.12.0/1.14.3-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.12.0/1.14.3
**自己编译的Flink源码，并制作相应的parcel，已完成flink1.12和最新flink版本1.14.3.**如果不想自己编译，可以使用我编译和制作好的parcel文件。亲测可用。可以参考我另一篇文章，下载！ flink-parcel制作过程 以CDH6.3.2、FLINK1.9.1为例 (1)下载制作包 git clone http…
2022/2/23 17:24:22 人评论 次浏览 -
flink 任务提交流程源码解析
flinkjob 提交流程 任务启动流程图1客户端的工作内容1.1解析命令1.2 执行用户代码 2集群工作内容2.1 启动AM2.2启动JobManager和 ResourceManager2.3 申请资源 启动 taskmanager 3分配任务3.1 资源计算3.2 分发任务 总结任务启动流程图可以先简单看下流程图，对比下面详细…
2022/2/22 20:24:34 人评论 次浏览 -
Flink写入数据到MySQL案例
案例准备： 1、启动MySQL，在mysql中创建数据库flinkdb，并创建表sensor_temp CREATE TABLE sensor_temp (id varchar(32),temp double ) 代码实现： def main(args: Array[String]): Unit = {val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExec…
2022/2/22 19:23:57 人评论 次浏览 -
Idea测试Flink程序
一、导入项目，添加jar包 右键项目=》open module setting选择Flink1.9的lib目录下flink-dist_2.11-1.9.2.jar包（对应运行版本） 保存即可。 二、运行时指定main方法参数
2022/2/18 17:13:48 人评论 次浏览 -
flink基础_day01
FlinK 1.12批流一体 flink 1.13.0 流处理应用更加简单高效 flink 的引入第1代——Hadoop MapReduce首先第一代的计算引擎，无疑就是 Hadoop 承载的 MapReduce。它将计算分为两个阶段，分别为 Map 和 Reduce。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不…
2022/2/17 23:18:54 人评论 次浏览 -
Hudi初始
一、Hudi是什么 Hudi（Hadoop Upserts anD Incrementals）：用于管理分布式文件系统DFS上大型分析数据集存储。 Hudi是一种针对分析型业务的、扫描优化的数据存储抽象，它能够使DFS数据集在分钟级的时延内支持变更，也支持下游系统对这个数据集的增量处理。二、Hudi功能 H…
2022/2/16 23:45:06 人评论 次浏览 -
flink sql 知其所以然（十八）：在 flink 中还能使用 hive udf？附源码
1.序篇 源码公众号后台回复1.13.2 sql hive udf获取。 废话不多说，咱们先直接上本文的目录和结论，小伙伴可以先看结论快速了解博主期望本文能给小伙伴们带来什么帮助：背景及应用场景介绍：博主期望你能了解到，其实很多场景下实时数仓的建设都是随着离线数仓而建设的（…
2022/2/14 2:15:15 人评论 次浏览 -
GroupTableAggFunction源码解读
/** Licensed to the Apache Software Foundation (ASF) under one* or more contributor license agreements. See the NOTICE file* distributed with this work for additional information* regarding copyright ownership. The ASF licenses this file* to you und…
2022/2/11 11:15:53 人评论 次浏览 -
【Flink】Flink基础数据类型和自定义Sink
Flink基础数据类型和自定义Sink 基础数据类型自定义SinkkafkaRedisElasticsearchMySQL基础数据类型 Flink 支持所有的 Java 和 Scala 基础数据类型，Int, Double, Long, String…… DataStream<Integer> numberStream = env.fromElements(1, 2, 3, 4); numberStream…
2022/2/11 6:15:14 人评论 次浏览 -
flink实时读取mongodb方案调研-实现mongodb cdc
背景介绍 mongodb目前是很多企业业务上常用的nosql数据库。我们需要对这些业务mongodb数据库进行 数据同步到 数据仓库中进行 数据分析处理。 技术选型 CDC介绍 CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术 CDC 技术的应用场景非常广泛： 数据同步：用…
2022/2/10 2:15:32 人评论 次浏览 -
Yelp 实现了一个连接算法使用好flink
在 Yelp，我们生成了大量高吞吐量的数据流，包括日志、业务数据和应用程序数据。我们需要对这些数据流进行连接、过滤、聚合，有时候甚至需要进行快速转换。摘要在 Yelp，我们生成了大量高吞吐量的数据流，包括日志、业务数据和应用程序数据。我们需要对这些数据流进行连接…
2022/2/4 14:17:28 人评论 次浏览 -
flink双流JOIN原理
JOIN简介谈flink双流JOIN之前，我们先谈一下大家最熟悉的mysql表join，我们知道表join有如下几种，具体区别就不在介绍了。那么流的join和表的join有什么区别呢？本文我们介绍一下。CROSS JOIN - 交叉连接，计算笛卡儿积；INNER JOIN - 内连接，返回满足条件的记录；OUTER…
2022/2/2 23:46:38 人评论 次浏览
