flink sink 批量下层数据时 ,数据"丢失"?

2021/7/27 23:09:05

本文主要是介绍flink sink 批量下层数据时 ,数据"丢失"?,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

flink作为目前很火的大数据框架,在实时计算和离线计算场景下有大量应用

图片来源{https://ci.apache.org/projects/flink/flink-docs-release-1.11/learn-flink/}

A parallel dataflow

从图中可以看出,flink在处理数据中有三大块:source operator sink

在工作时负责sink这块的数据下层工作,因为下层源有很多,有redis,hbase这些。在实现hbase相关的sink时,我优先考虑使用批量进行sink下层,这样可以提高下层数据时的效率问题。

最开始的编写hbase相关的sink代码( 工作相关业务代码已屏蔽)如下:

public class BatchHbaseSink extends RichSinkFunction<JSONObject> {

    private static final Logger logger = LoggerFactory.getLogger(BatchHbaseSink.class);

    private Connection connection;
    private long lastInvokeTime;
    private final List<Put> puts = new ArrayList();
    /**
     * 每次处理最多500条数据
     */
    private final int maxSize = 500;
    /**
     * 最长延迟5秒
     */
    private final long delayTime = 5000L;


    public BatchHbaseSink() {
        System.out.println("new batch =========== " + Thread.currentThread().getName());
    }

    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);
        connection = HBaseUtil.getConnection(
                this.config.getZookeeperQuorum(),
                this.config.getClientPort()
        );
        lastInvokeTime = System.currentTimeMillis();
    }


    @Override
    public void invoke(JSONObject value, Context context) throws Exception {
        try {
						.....省略
      
            Put put = new Put(keySuffix + keySuffix).getBytes());
            put.addColumn(family.getBytes(), qualifier.getBytes(), Bytes.toBytes(val.toString()));
            puts.add(put);
            final long currentTime = System.currentTimeMillis();
            final long l = currentTime - lastInvokeTime;
            if (puts.size() >= maxSize || l >= delayTime) {
                Table table = connection.getTable(TableName.valueOf(tableName));
                // 数据提交
                table.put(puts);
                puts.clear();
                lastInvokeTime = currentTime;
                table.close();
            }
        } catch (Exception e) {
            logger.error("error:", e);
        }
    }


    @Override
    public void close() throws IOException {
        if (connection != null) {
            connection.close();
        }
    }
}

  

 

我开始的想法很简单,每次等500条数据一次性写入hbase,同时设置延时时间为5秒,防止数据积压

但是当我发送20条需要处理的数据时,发现每次hbase每次写入的数据都不满足20条,运行多次后都有同样的问题,我重新review了代码逻辑,发现逻辑处理方面没有什么问题,我开始把代码改成,来一条数据发送一条数据代码如下

 
public class BatchHbaseSink extends RichSinkFunction<JSONObject> {
​
    private static final Logger logger = LoggerFactory.getLogger(BatchHbaseSink.class);
​
    private Connection connection;
​
    public BatchHbaseSink() {
        System.out.println("new batch =========== " + Thread.currentThread().getName());
    }
​
    @Override
    public void open(Configuration parameters) throws Exception {
        super.open(parameters);
        connection = HBaseUtil.getConnection(
                this.config.getZookeeperQuorum(),
                this.config.getClientPort()
        );
    }
​
​
    @Override
    public void invoke(JSONObject value, Context context) throws Exception {
        try {
            .....省略
      
            Put put = new Put(keySuffix + keySuffix).getBytes());
            put.addColumn(family.getBytes(), qualifier.getBytes(), Bytes.toBytes(val.toString()));
            Table table = connection.getTable(TableName.valueOf(tableName));
            // 数据提交
            table.put(puts);
            puts.clear();
            lastInvokeTime = currentTime;
            table.close();
         }
        } catch (Exception e) {
            logger.error("error:", e);
        }
    }
​
​
    @Override
    public void close() throws IOException {
        if (connection != null) {
            connection.close();
        }
    }
}

  


这样处理下层数据,数据不会发生‘’丢失‘’的情况,所以我第一反应是不是缓存的问题导致的,缓存出问题的场景大多数情况是出现线程安全的问题,所以我怀疑是不是线程安全问题,我在程序中添加了线程打印日志,看看是不是多线程处理数据。

System.out.println("---------" + Thread.currentThread().getName() + "---------");

处理数据过程中打印了如下日志:

---------Window(TumblingEventTimeWindows(10000), EventTimeTrigger, BaseOperator, PassThroughWindowFunction) -> (Sink: Print to Std. Out, Process -> (Sink: Unnamed, Sink: Unnamed)) (2/8)---------
---------Window(TumblingEventTimeWindows(10000), EventTimeTrigger, BaseOperator, PassThroughWindowFunction) -> (Sink: Print to Std. Out, Process -> (Sink: Unnamed, Sink: Unnamed)) (4/8)---------
---------Window(TumblingEventTimeWindows(10000), EventTimeTrigger, BaseOperator, PassThroughWindowFunction) -> (Sink: Print to Std. Out, Process -> (Sink: Unnamed, Sink: Unnamed)) (8/8)---------
---------Window(TumblingEventTimeWindows(10000), EventTimeTrigger, BaseOperator, PassThroughWindowFunction) -> (Sink: Print to Std. Out, Process -> (Sink: Unnamed, Sink: Unnamed)) (7/8)---------
---------Window(TumblingEventTimeWindows(10000), EventTimeTrigger, BaseOperator, PassThroughWindowFunction) -> (Sink: Print to Std. Out, Process -> (Sink: Unnamed, Sink: Unnamed)) (1/8)---------
---------Window(TumblingEventTimeWindows(10000), EventTimeTrigger, BaseOperator, PassThroughWindowFunction) -> (Sink: Print to Std. Out, Process -> (Sink: Unnamed, Sink: Unnamed)) (6/8)---------
---------Window(TumblingEventTimeWindows(10000), EventTimeTrigger, BaseOperator, PassThroughWindowFunction) -> (Sink: Print to Std. Out, Process -> (Sink: Unnamed, Sink: Unnamed)) (5/8)---------

可以看出,sink过程中有8个线程做处理,所以此时的我觉得已经找到问题的根因了,代码是多线程执行的,存在线程安全问题,所以我给批量处理的数据做了如下处理,将缓存改成线程安全的集合,同时将字段lastInvokeTime修饰为volatile,至此我以为我已经解决了该问题,但是结果仍然是发送的20条数据只落了部分数据到hbase。

这时我有点穷驴技穷了,我重新review了代码,发现一处代码逻辑漏洞

首先我开始设置批量处理数据时,只有当数据超过500条或者超过时间限制5秒钟我就会将数据都刷入hbase中,问题出现在了超时时间限制。我发送的数据是一次性的发送20条,当不满足500条的时候不会发送,但是触发超时5秒也会,但是这个超时只有在下次消费数据时才会触发这个逻辑,所以我需要定时任务去定时的将缓存中积压的数据刷到hbase,防止source一直没有数据导致缓存中的数据无法下层甚至丢失

知道原因,并且有解决办法就是采用定时任务来,我添加了如下代码:

private final List<Put> puts = Collections.synchronizedList(Lists.newArrayList());
private final  static ScheduledThreadPoolExecutor scheduledThreadPoolExecutor = new ScheduledThreadPoolExecutor(1);
//定时刷新缓存数据到hbase
public void initFlush() {
        scheduledThreadPoolExecutor.scheduleAtFixedRate(() -> {
            try {
                if (CollectionUtils.isNotEmpty(puts) && flag) {
                    Table table = connection.getTable(TableName.valueOf(hbaseStorage.getTable()));
                    table.put(puts);
                    puts.clear();
                    table.close();
                }
            } catch (Exception e) {
                logger.error("刷新缓存错误:", e);
            }
       }, 30, 5, TimeUnit.SECONDS);
 }

  

 

问题三:添加定时任务,定时刷缓存,可是数据仍然没有下层到hbase

 

想法是好的,现实很残酷,运行下来,下层到hbase的数据仍然缺失。我开始怀疑人生了,我debug了代码,发现缓存中的数据为空

如图:

 

 

这时候只能去看底层flink的源码了,我通过跟踪堆栈,发现了执行逻辑,sink的invoke方法的执行,在streamSink类中被调用:

@Override
  public void processElement(StreamRecord<IN> element) throws Exception {
    sinkContext.element = element;
    userFunction.invoke(element.getValue(), sinkContext);
  }

  

我debug到了这边:

如下:

 

 

 

 

 

 

可以看出我上图中用黑色笔圈出的部分,每个线程执行的hbasesink对象都是不一样,也就是说每个线程都有自己的hbasesink对象。问题迎刃而解了,我设置的全局线程池去刷新缓存,是没法针对每个线程中的hbasesink中的缓存操作的,(线程局部变量对其它线程是不可见的)。所以我的做法很简单,我将全局刷新的线程,变为线程局部处理线程,也就是sink线程的子线程,变化逻辑非常简单:

 

private final List<Put> puts = Collections.synchronizedList(Lists.newArrayList());
​
//标志位
private volatile boolean flag = true;
​
//定时刷新缓存数据到hbase
public void initFlush() {
  final ScheduledThreadPoolExecutor scheduledThreadPoolExecutor = new ScheduledThreadPoolExecutor(1);
        scheduledThreadPoolExecutor.scheduleAtFixedRate(() -> {
            try {
                if (CollectionUtils.isNotEmpty(puts) && flag) {
                    Table table = connection.getTable(TableName.valueOf(hbaseStorage.getTable()));
                    table.put(puts);
                    puts.clear();
                    table.close();
                }
            } catch (Exception e) {
                logger.error("刷新缓存错误:", e);
            }
       }, 30, 5, TimeUnit.SECONDS);
 }

  

如上,我将创建线程的步骤放到了方法里,而非全局变量。

 

问题四:hbasesink是我自己new的创建的对象,为啥每个sink线程有自己的呢?

 



这篇关于flink sink 批量下层数据时 ,数据"丢失"?的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程