数据批处理问题总结

2023/11/30 23:03:06

本文主要是介绍数据批处理问题总结，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

背景：

当数据库中有脏数据需要删除，且数据量非常打，无法一次性查询出来，需要分页查询处理。

处理方案：

将数据查询出来之后，逻辑删除脏数据。

常见问题：

分页查询之后，脏数据被删除，后面的分页查询就会少数据，导致一部分脏数据没有被处理到。

改进方案：

当处理了脏数据，不翻页，继续处理当页的脏数据，直到该页没有脏数据了，再翻到下一页。

总结：

此问题经常会在分页数据处理过程中出现，如果考虑不到位，很容易遗漏数据处理，且不容易被发现。

这篇关于数据批处理问题总结的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！