搜索结果
查询Tags标签： 倾斜，共有 23条记录-
大数据测试总结
一、大数据测试中的典型问题 1. 数据质量问题和数据处理过程中的问题 我们需要关注数据本身的质量问题，以及数据处理过程中各种处理方式和结果是否满足预期，是否与业务逻辑不相符，是否影响后续业务使用的问题，这些问题通常发生在数据的ETL阶段。 常见的问题如下： （1…
2022/7/30 23:22:51 人评论 次浏览 -
12个小球称3次找次品
\(12\) 个乒乓球，有一个次品，不知道次品是更重还是更轻，用一台无砝码的天平称三次，找出次品，并告知次品到底是重了还是轻了，请问该怎么做？首先，将乒乓球均分为 \(3\) 组，设为 \(4A,4B,4C\)， 第一次：左边 \(4B\)，右边 \(4A\) 称重。 如果等重： 则次品一定在…
2022/4/13 6:12:54 人评论 次浏览 -
JavaScript(learn 前端？)
前置知识：HTML，CSS <!DOCTYPE html> <html lang="zh"> <head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content=&quo…
2022/1/26 17:04:48 人评论 次浏览 -
Spark SQL 3.0 自适应执行优化引擎
在本篇文章中，笔者将给大家带来 Spark SQL 中关于自适应执行引擎（Spark Adaptive Execution）的内容。 在之前的文章中，笔者介绍过 Flink SQL，目前 Flink 社区在积极地更新迭代 Flink SQL 功能和优化性能，尤其 Flink 1.10.0 版本的发布，在增强流式 SQL 处理能力的同…
2022/1/23 2:06:44 人评论 次浏览 -
大数据SQL优化之数据倾斜解决案例
1 什么是数据倾斜 数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。外部表现的话，在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小…
2022/1/19 19:27:41 人评论 次浏览 -
大数据SQL优化之数据倾斜解决案例
1 什么是数据倾斜 数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。外部表现的话，在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小…
2022/1/19 19:27:41 人评论 次浏览 -
Spark数据倾斜处理
一、数据倾斜产生的原因spark job中绝大多数task执行得非常快，但个别task执行缓慢。或者原本线上运行的job是正常，但在某天由于特殊原因报出OOM的异常，观察发现是因为代码本身造成的。一般来说，发生数据倾斜是在程序进行shuffle的时候，必须将各个节点上相同的key拉取…
2022/1/9 23:04:29 人评论 次浏览 -
Spark数据倾斜处理
一、数据倾斜产生的原因spark job中绝大多数task执行得非常快，但个别task执行缓慢。或者原本线上运行的job是正常，但在某天由于特殊原因报出OOM的异常，观察发现是因为代码本身造成的。一般来说，发生数据倾斜是在程序进行shuffle的时候，必须将各个节点上相同的key拉取…
2022/1/9 23:04:29 人评论 次浏览 -
基于倾斜摄影测量的三维建模实验
提到倾斜摄影，大家都知道是近些来比较热的技术，但大多没实际完整操作过，对概念理解还是不够深刻。本文简单介绍利用倾斜摄影的技术来创建三维模型的基本流程。 一、实现原理 说起原理，可能让人头大，其实倾斜摄影的原理不算太难：采取不同方式（无人机上的相机，甚至手…
2021/12/31 23:07:21 人评论 次浏览 -
基于倾斜摄影测量的三维建模实验
提到倾斜摄影，大家都知道是近些来比较热的技术，但大多没实际完整操作过，对概念理解还是不够深刻。本文简单介绍利用倾斜摄影的技术来创建三维模型的基本流程。 一、实现原理 说起原理，可能让人头大，其实倾斜摄影的原理不算太难：采取不同方式（无人机上的相机，甚至手…
2021/12/31 23:07:21 人评论 次浏览 -
redis-37数据分布优化|如何应对数据倾斜
redis-37数据分布优化|如何应对数据倾斜
2021/11/4 19:14:28 人评论 次浏览 -
redis-37数据分布优化|如何应对数据倾斜
redis-37数据分布优化|如何应对数据倾斜
2021/11/4 19:14:28 人评论 次浏览 -
Spark 数据倾斜的解决方案
Spark 数据倾斜的解决方案 Shuffle（聚合） 时导致的数据倾斜第 1 种解决方案：使用 Hive ETL 对数据进行预处理第 2 种解决方案：过滤少数导致倾斜的 Key第 3 种解决方案：提高 shuffle 并行度第 4 种解决方案：两阶段聚合（局部聚合 + 全局聚合） Shuffle（Join） 时导致…
2021/10/16 23:13:41 人评论 次浏览 -
Spark 数据倾斜的解决方案
Spark 数据倾斜的解决方案 Shuffle（聚合） 时导致的数据倾斜第 1 种解决方案：使用 Hive ETL 对数据进行预处理第 2 种解决方案：过滤少数导致倾斜的 Key第 3 种解决方案：提高 shuffle 并行度第 4 种解决方案：两阶段聚合（局部聚合 + 全局聚合） Shuffle（Join） 时导致…
2021/10/16 23:13:41 人评论 次浏览 -
分享大数据常见的面试题
一、mr的shuffle流程 说到mr的Shuffle，那么首先要明确shuffle属于哪个阶段。shuffle就是从Map端输出到Reduce输入的整个过程，这个过程广义上称之为shuffle。Shuffle横跨Map端和Reduce端，在Map端包括Spill过程，在Reduce端包括copy和sort过程，如图所示：Map的shuffle过…
2021/8/13 23:09:24 人评论 次浏览
