09-flink-1.10.1- flink的编程风格ＵＤＦ函数

本文主要是介绍09-flink-1.10.1- flink的编程风格ＵＤＦ函数，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

１　实现ＵＤＦ函数

可以更细粒度的对流进行控制

ｆｌｉｎｋ暴露了所有ｕｄｆ函数的接口，实现方式是接口或者抽象类比如MapFunction，FilterFunction，ProcessFunction等等。我们很容易在flink的算子里发现所有的算子都有两份重载的函数，①一个可以直接传入一个lamda表达式，②一个可以传入一个函数类，这里的UDF函数说的就是②说说的函数类

package com.study.liucf.unbounded.udf

import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.FilterFunction

/**
 * @Author liucf
 * @Date 2021/9/12
 *      过滤以agrKey开头的数据
 */
class LiucfFilterUdfFun(agrKey:String) extends FilterFunction[LiucfSensorReding]{
  override def filter(value: LiucfSensorReding): Boolean = {
    value.id.startsWith(agrKey)
  }
}

package com.study.liucf.unbounded.udf

import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.FilterFunction
import org.apache.flink.streaming.api.scala._

/**
 * @Author liucf
 * @Date 2021/9/12
 */
object FilterUDFTest {
  def main(args: Array[String]): Unit = {
    //创建flink执行环境
    val env = StreamExecutionEnvironment.getExecutionEnvironment
    //读取数据
    val inputStream: DataStream[String] = env.readTextFile("src\\main\\resources\\sensor.txt")
    //转换数据类型 string 类型转换成LiucfSensorReding,求最小值
    val ds = inputStream.map(r=>{
      val arr = r.split(",")
      LiucfSensorReding(arr(0),arr(1).toLong,arr(2).toDouble)
    })
        //.filter(d=>d.id.startsWith("sensor_1"))//① lamda表达式方式，输出以sensor_1开始的传感器的温度
        //.filter(_.id.startsWith("sensor_1")) //② 匿名函数的方式，输出以sensor_1开始的传感器的温度
        //.filter(new LiucfFilterUdfFun("sensor_1"))//③ UDF 函数类的方式，输出以sensor_1开始的传感器的温度
        .filter(new FilterFunction[LiucfSensorReding] {//④ 匿名函数类的方式,输出以sensor_1开始的传感器的温度
          override def filter(value: LiucfSensorReding): Boolean = {
            value.id.startsWith("sensor_1")
          }
        })

    ds.print()
    //启动flink执行
    env.execute("liucf FilterUDF test")
  }

}

2 Rich Function

“富函数”是DataStream API提供的一个函数类的接口，所有flink函数类都有Rich Function版本，它与常规函数类的不同在于，可以获取应行时的上下文，并拥有一些生命周期方法，所以可以实现一些更复杂的功能。比如RichMapFunction，RichFlatMapFunction，RichFilterFunction。

Rich Function 有一个生命周期的概念，典型的生命周期方法有

package com.study.liucf.unbounded.udf

import com.study.liucf.bean.LiucfSensorReding
import org.apache.flink.api.common.functions.{FilterFunction, RichFilterFunction}
import org.apache.flink.configuration.Configuration

/**
 * @Author liucf
 * @Date 2021/9/12
 */
/**
 * 普通的函数类
 * @param argKey
 */
class LiucfFilterFunction(argKey:String) extends FilterFunction[LiucfSensorReding]{

  override def filter(value: LiucfSensorReding): Boolean = {
    value.id.startsWith("sensor_1")
  }
}

/**
 * 富有函数类
 * @param argKey
 */
class LiucfRichFilterFunction(argKey:String) extends RichFilterFunction[LiucfSensorReding]{
  override def filter(value: LiucfSensorReding): Boolean = {
    value.id.startsWith("sensor_1")
  }

  //生命周期函数
  override def open(parameters: Configuration): Unit = {
    setRuntimeContext(getRuntimeContext)
    
  }
// 生命周期函数
  override def close(): Unit = {
    
  }
}

这篇关于09-flink-1.10.1- flink的编程风格ＵＤＦ函数的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！