搜索结果
查询Tags标签： Streaming，共有 37条记录-
gRPC与REST对比
gRPC类型 gRPC有四种类型： 1. UNARY： 单一的请求响应； 2. CLIENT STREAMING： 客户端流式发送，服务端单一响应； 3. SERVER STREAMING： 客户端单一请求，服务端流式响应； 4. BIDIRECTIONAL STREAMING： 双工流式请求响应gRPC VS RESTgRPC RESTHTTP/2 most used …
2022/9/15 23:19:57 人评论 次浏览 -
MySQL出现客户端连接超时异常
一、错误日志2022-08-30 03:14:45 org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer.at org.apache.flink.streaming.runtime.tasks.StreamTask$StreamTaskAsyncExceptionHandler.handleAsyncException(StreamT…
2022/8/31 2:22:59 人评论 次浏览 -
论文阅读 Streaming Graph Neural Networks
3 Streaming Graph Neural Networks link：https://dl.acm.org/doi/10.1145/3397271.3401092 Abstract 本文提出了一种新的动态图神经网络模型DGNN，它可以随着图的演化对动态信息进行建模。特别是，该框架可以通过捕获： 1、边的序列信息， 2、边之间的时间间隔， 3、信息…
2022/4/29 6:14:26 人评论 次浏览 -
Spark Streaming DStream 转换操作
DStream 操作和RDD的操作很类似，分为 Transformations 转换和 Output Operations 输出两种，此外转换操作中还有一些比较复杂的算子，如：updateStateByKey(),transform()以及各种 Window 相关算子。 1、无状态转换操作无状态转换操作就是把简单的RDD转换操作应用到每个批…
2022/4/22 6:12:43 人评论 次浏览 -
spark-streaming-kafka-0-10源码分析和spark闭包的链接整理
spark-streaming-kafka-0-10源码分析 https://cloud.tencent.com/developer/article/1594316 spark闭包 https://mp.weixin.qq.com/s/l_tfjPMEBjx-63aYyez5Qg
2022/4/7 14:19:07 人评论 次浏览 -
spark streaming整合kafka中聚合类运算如何和kafka保持exactly once一致性语义（mysql方式，利用事务）
/*** 从Kafka读取数据，实现ExactlyOnce，偏移量保存到MySQL中* 1.将聚合好的数据，收集到Driver端，* 2.然后建计算好的数据和偏移量在一个事物中同时保存到MySQL中* 3.成功了提交事物* 4.失败了让这个任务重启** MySQL数据库中有两张表：保存计算好的结果、保存偏移量*/…
2022/4/6 2:19:24 人评论 次浏览 -
FLink18--全窗口聚合方式2 ProcessWindowApp
一、依赖二、代码 package net.xdclass.class11;import java.util.List; import java.util.stream.Collectors;import org.apache.commons.collections.IteratorUtils; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.java.funct…
2022/3/27 23:26:21 人评论 次浏览 -
图解大数据 | 流式数据处理-Spark Streaming
作者：韩信子@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/84 本文地址：http://www.showmeai.tech/article-detail/179 声明：版权所有，转载请联系平台与作者并注明出处 1.Spark Streaming解读1）Spark Streaming简介 Spark Streaming是Spark核心API的一个扩…
2022/3/9 6:17:28 人评论 次浏览 -
Flink处理--异步IO
async import com.alibaba.fastjson.JSONObject; import org.apache.commons.io.IOUtils; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.functions.async.ResultFuture; import org.apache.flink.streaming.api.function…
2021/12/3 6:06:44 人评论 次浏览 -
Flink处理--异步IO
async import com.alibaba.fastjson.JSONObject; import org.apache.commons.io.IOUtils; import org.apache.flink.configuration.Configuration; import org.apache.flink.streaming.api.functions.async.ResultFuture; import org.apache.flink.streaming.api.function…
2021/12/3 6:06:44 人评论 次浏览 -
Flink流处理-Task之ElectricFenceTask
ElectricFenceTask package pers.aishuang.flink.streaming.task;import com.mysql.jdbc.StringUtils; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.s…
2021/11/8 6:12:32 人评论 次浏览 -
Flink流处理-Task之ElectricFenceTask
ElectricFenceTask package pers.aishuang.flink.streaming.task;import com.mysql.jdbc.StringUtils; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.s…
2021/11/8 6:12:32 人评论 次浏览 -
Flink流处理-Task之TripDriveTask
Task之TripDriveTask package pers.aishuang.flink.streaming.task; import org.apache.commons.lang.StringUtils; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.api.common.typeinfo.TypeInformation; import org.ap…
2021/11/8 6:12:31 人评论 次浏览 -
Flink流处理-Task之TripDriveTask
Task之TripDriveTask package pers.aishuang.flink.streaming.task; import org.apache.commons.lang.StringUtils; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.api.common.typeinfo.TypeInformation; import org.ap…
2021/11/8 6:12:31 人评论 次浏览 -
Flink流处理-Task之OnlineStatisticsTask
OnlineStatisticsTask package pers.aishuang.flink.streaming.task; import org.apache.commons.lang.StringUtils; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.*; import org.apache.fli…
2021/11/8 6:12:30 人评论 次浏览
