ES度量聚合(ElasticSearch Metric Aggregations)，首战被MySQL惨虐

本文主要是介绍ES度量聚合(ElasticSearch Metric Aggregations)，首战被MySQL惨虐，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

System.out.println(result);

} catch (Throwable e) {

e.printStackTrace();

} finally {

EsClient.close(client);

}

}

其中代码@1：missing(0)表示如果文档中没有取平均值的字段时，则使用该值进行计算，本例中使用0参与计算。

其返回结果如下：

{

“took”:2,

“timed_out”:false,

“_shards”:{

“total”:5,

“successful”:5,

“skipped”:0,

“failed”:0

},

“hits”:{

“total”:39,

“max_score”:0,

“hits”:[

]

},

“aggregations”:{

“avg#avg-aggregation”:{

“value”:1.2820512820512822

}

}

}

Weighted Avg Aggregation 加权平均聚合

---

加权平均算法，∑(value * weight) / ∑(weight)。

加权平均（weghted_avg）支持的参数列表：

• value

提供值的字段或脚本的配置。例如定义计算哪个字段的平均值，该值支持如下子参数：

• field

用来定义平均值的字段名称。

• missing

用来定义如果匹配到的文档没有avg字段，使用该值来参与计算。

• weight

用来定义权重的对象，其可选属性如下：

• field

定义权重来源的字段。

• missing

如果文档缺失权重来源字段，以该值来代表该文档的权重值。

• format

数值类型格式化。

• value_type

用来指定value的类型，例如ValueType.DATE、ValueType.IP等。

示例如下：

POST /exams/_search

{

“size”: 0,

“aggs” : {

“weighted_grade”: {

“weighted_avg”: {

“value”: {

“field”: “grade”

},

“weight”: {

“field”: “weight” // @2

}

}

}

}

}

从文档中抽取属性为weight的字段的值来当权重值。

其JAVA示例如下：

public static void test_weight_avg_aggregation() {

RestHighLevelClient client = EsClient.getClient();

try {

SearchRequest searchRequest = new SearchRequest();

searchRequest.indices(“aggregations_index02”);

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

WeightedAvgAggregationBuilder avg = AggregationBuilders.weightedAvg(“avg-aggregation”)

.value(

(new MultiValuesSourceFieldConfig.Builder())

.setFieldName(“num”)

.setMissing(0)

.build()

)

.weight(

(new MultiValuesSourceFieldConfig.Builder())

.setFieldName(“num”)

.setMissing(1)

.build()

)

// .valueType(ValueType.LONG)

;

avg.toString();

sourceBuilder.aggregation(avg);

sourceBuilder.size(0);

sourceBuilder.query(

QueryBuilders.termQuery(“sellerId”, 24)

);

searchRequest.source(sourceBuilder);

SearchResponse result = client.search(searchRequest, RequestOptions.DEFAULT);

System.out.println(result);

} catch (Throwable e) {

e.printStackTrace();

} finally {

EsClient.close(client);

}

}

Cardinality Aggregation

---

基数聚合，先distinct,再聚合，类似关系型数据库(count(distinct))。

示例如下：

POST /sales/_search?size=0

{

“aggs” : {

“type_count” : {

“cardinality” : {

“field” : “type”

}

}

}

}

对应的JAVA示例如下：

public static void test_Cardinality_Aggregation() {

RestHighLevelClient client = EsClient.getClient();

try {

SearchRequest searchRequest = new SearchRequest();

searchRequest.indices(“aggregations_index02”);

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

AggregationBuilder aggregationBuild = AggregationBuilders.cardinality(“buyerid_count”).field(“buyerId”);

sourceBuilder.aggregation(aggregationBuild);

sourceBuilder.size(0);

sourceBuilder.query(

QueryBuilders.termQuery(“sellerId”, 24)

);

searchRequest.source(sourceBuilder);

SearchResponse result = client.search(searchRequest, RequestOptions.DEFAULT);

System.out.println(result);

} catch (Throwable e) {

e.printStackTrace();

} finally {

EsClient.close(client);

}

}

返回结果如下：

{

“took”:30,

“timed_out”:false,

“_shards”:{

“total”:5,

“successful”:5,

“skipped”:0,

“failed”:0

},

“hits”:{

“total”:39,

“max_score”:0,

“hits”:[

]

},

“aggregations”:{

“cardinality#type_count”:{

“value”:11

}

}

}

上述实现与SQL:SELECT COUNT(DISTINCT buyerId) from es_order_tmp where sellerId=24; 效果类似，表示购买了商家id为24的买家个数。

其核心参数如下：

• precision_threshold

精确度控制。在此计数之下，期望计数接近准确。在这个值之上，计数可能会变得更加模糊（不准确）。支持的最大值是40000，超过此值的阈值与40000的阈值具有相同的效果。默认值是3000。

上述示例中返回的11是精确值，如果改写成下面的代码，结果将变的不准确：

field(“buyerId”).precisionThreshold(5)

其返回结果如下：

{

“took”:5,

“timed_out”:false,

“_shards”:{

“total”:5,

“successful”:5,

“skipped”:0,

“failed”:0

},

“hits”:{

“total”:39,

“max_score”:0,

“hits”:[

]

},

“aggregations”:{

“cardinality#buyerid_count”:{

“value”:9

}

}

}

• Pre-computed hashes

一个比较好的实践是需要对字符串类型的字段进行基数聚合的话，可以提前索引该字符串的hash值，通过对hash值的聚合，提高效率。

• Missing Value

missing参数定义了应该如何处理缺少值的文档。默认情况下，它们将被忽略，但也可以将它们视为具有一个值，通过missing value来设置。

Extended Stats Aggregation

---

stats聚合的扩展版本，示例如下：

GET /exams/_search

{

“size”: 0,

“aggs” : {

“grades_stats” : { “extended_stats” : { “field” : “grade” } }

}

}

对应的JAVA示例如下：

public static void test_Extended_Stats_Aggregation() {

RestHighLevelClient client = EsClient.getClient();

try {

SearchRequest searchRequest = new SearchRequest();

searchRequest.indices(“aggregations_index02”);

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

AggregationBuilder aggregationBuild = AggregationBuilders.extendedStats(“extended_stats”)

.field(“num”)

;

sourceBuilder.aggregation(aggregationBuild);

sourceBuilder.size(0);

sourceBuilder.query(

QueryBuilders.termQuery(“sellerId”, 24)

);

searchRequest.source(sourceBuilder);

SearchResponse result = client.search(searchRequest, RequestOptions.DEFAULT);

System.out.println(result);

} catch (Throwable e) {

e.printStackTrace();

} finally {

EsClient.close(client);

}

}

返回的结果如下：

{

“took”:13,

“timed_out”:false,

“_shards”:{

“total”:5,

“successful”:5,

“skipped”:0,

“failed”:0

},

“hits”:{

“total”:39,

“max_score”:0,

“hits”:[

]

},

“aggregations”:{

“extended_stats#extended_stats”:{

“count”:39, // @1

“min”:1, // @2

“max”:11, // @3

“avg”:1.2820512820512822, // @4

“sum”:50, // @5

“sum_of_squares”:162, // @6

“variance”:2.5101906640368177, // @7

“std_deviation”:1.5843581236692725, // @8

“std_deviation_bounds”:{ // @9

“upper”:4.450767529389827,

“lower”:-1.886664965287263

}

}

}

}

将所能支持的聚合类型都返回。

@1：返回符合条件的总条数。

@2：该属性在符合条件中的最小值。

@3：该属性在符合条件中的最大值。

@4：该属性在符合条件的文档中的平均值。

@5：该属性在符合条件的文档中的sum求和。

@6-9：暂未理解其含义。

同样支持missing属性。

max Aggregation

---

求最大值，与avg Aggregation聚合类似，不再重复介绍。

min Aggregation

---

求最小值，与avg Aggregation聚合类似，不再重复介绍。

Percentiles Aggregation

---

百分位计算，ES提供的另外一种近似度量方式。主要用于展现以具体百分比下观察到的数值，例如，第95个百分位上的数值，是高于 95% 的数据总和。百分位聚合通常用来找出异常，适用与使用统计学中正态分布来观察问题。

官方文档：https://www.elastic.co/guide/cn/elasticsearch/guide/current/percentiles.html

例如：

GET latency/_search

{

“size”: 0,

“aggs” : {

“load_time_outlier” : {

“percentiles” : {

“field” : “load_time”

}

}

}

}

load_time，在官方文档中的字段含义为字段加载时间，其返回值如下：

{

…

“aggregations”: {

“load_time_outlier”: {

“values” : {

“1.0”: 5.0,

“5.0”: 25.0,

“25.0”: 165.0,

“50.0”: 445.0,

“75.0”: 725.0,

“95.0”: 945.0,

“99.0”: 985.0

}

}

}

}

默认的百分比key为[ 1, 5, 25, 50, 75, 95, 99 ]。

按照官方的解读，可以这样理解上述返回结果：

“1.0”: 5.0；表示（100-1）%的数据都大于5.0；也表示1%的数据小于5.0。

“5.0”: 25.0 表示，95%的请求的加载时间大于等于25。

“99.0”: 985.0 表示1%的请求的加载时间大于985.0。

• percentile

用来定义其百分比，例如percents:[10,50,95,99]

• keyed

默认情况下，keyed参数为true，其结果的返回格式如上：

“values” : {

“1.0”: 5.0,

“5.0”: 25.0,

“25.0”: 165.0,

“50.0”: 445.0,

“75.0”: 725.0,

“95.0”: 945.0,

“99.0”: 985.0

}

如果设置keyed=false，则返回值的格式如下：

“aggregations”: {

“load_time_outlier”: {

“values”: [

{

“key”: 1.0,

“value”: 5.0

},

{

“key”: 5.0,

“value”: 25.0

},

…

]

}

}

• 百分位使用场景

百分位通常使用近似统计。

计算百分位数有许多不同的算法。简单实现只是将所有值存储在一个排序数组中。要找到第50个百分位，只需找到my_array[count(my_array) * 0.5]处的值。

显然，这种简单的实现没有伸缩性——排序数组随数据集中值的数量线性增长。为了计算es集群中可能存在的数十亿个值的百分位数，兼顾性能的需求，故ES通常使用计算近似百分位数。近似百分位通常使用TDigest 算法。

在使用近似百分位时，通常需要考虑这些：

1. 准确度与q(1-q)成正比。这意味着极端百分位数(如99%)比不那么极端的百分位数(如中位数)更准确

2. 对于较小的值集，百分位数是非常准确的(如果数据足够小，可能是100%准确)。

3. 当桶中值的数量增加时，算法开始近似百分位数。它有效地以准确性换取内存节省。准确的不准确程度很难一概而论，因为它取决于您的数据分布和聚合的数据量。

• Compression

近似算法必须平衡内存利用率和估计精度。这个平衡可以使用参数compression来控制。

TDigest算法使用许多“节点”来近似百分位数——可用节点越多，与数据量成比例的准确性(和大内存占用)就越高。压缩参数将节点的最大数量限制为20 * compression。

因此，通过增加压缩值，可以以增加内存为代价来提高百分位数的准确性。较大的压缩值也会使算法变慢，因为底层树数据结构的大小会增加，从而导致更昂贵的操作。默认压缩值是100。

一个“节点”使用大约32字节的内存，因此在最坏的情况下(大量数据按顺序到达)，默认设置将产生大约64KB（32 * 20 * 100）大小的TDigest。实际上，数据往往更随机，TDigest使用的内存更少。

HDR Histogram(直方图)

---

HDR直方图(High Dynamic Range Histogram，高动态范围直方图)是一种替代实现，在计算延迟度量的百分位数时非常有用，因为它比t-digest实现更快，但需要更大的内存占用。此实现维护一个固定的最坏情况百分比错误(指定为有效数字的数量)。这意味着如果数据记录值从1微秒到1小时(3600000000毫秒)直方图设置为3位有效数字,它将维持一个价值1微秒的分辨率值1毫秒,3.6秒(或更好的)最大跟踪值(1小时)。

GET latency/_search

{

“size”: 0,

“aggs” : {

“load_time_outlier” : {

“percentiles” : {

“field” : “load_time”,

“percents” : [95, 99, 99.9],

“hdr”: {

“number_of_significant_value_digits” : 3

}

}

}

}

}

1. hdr

通过hdr属性指定直方图相关的参数。

2. number_of_significant_value_digits

指定以有效位数为单位的直方图值的分辨率。

注意：hdr直方图只支持正值，如果传递负值，则会出错。如果值的范围是未知的，那么使用HDRHistogram也不是一个好主意，因为这可能会导致内存的大量使用。

• Missing value

missing参数定义了应该如何处理缺少值的文档。默认情况下，它们将被忽略，但也可以将它们视为具有一个值。

Percentiles Aggregation示例(Java Demo)：

public static void test_Percentiles_Aggregation() {

RestHighLevelClient client = EsClient.getClient();

try {

SearchRequest searchRequest = new SearchRequest();

searchRequest.indices(“aggregations_index02”);

SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();

AggregationBuilder aggregationBuild = AggregationBuilders.percentiles(“percentiles”)

.field(“load_time”)

.percentiles(75,90,99.9)

.compression(100)

.method(PercentilesMethod.HDR)

.numberOfSignificantValueDigits(3)

;

sourceBuilder.aggregation(aggregationBuild);

sourceBuilder.size(0);

sourceBuilder.query(

QueryBuilders.termQuery(“sellerId”, 24)

);

searchRequest.source(sourceBuilder);

SearchResponse result = client.search(searchRequest, RequestOptions.DEFAULT);

System.out.println(result);

} catch (Throwable e) {

e.printStackTrace();

} finally {

EsClient.close(clien

《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》

【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】 完整内容开源分享

t);

}

}

Percentile Ranks Aggregation

---

百分位范围表示观察值低于某一值的百分比。例如，如果一个值大于或等于观察值的95%，那么它就属于第95百分位。

假设您的数据包含网站加载时间。您可能有一个服务协议，95%的页面加载完全在500ms内完成，99%的页面加载完全在600ms内完成。

示例：

GET latency/_search

{

“size”: 0,

“aggs” : {

“load_time_ranks” : { // @1

“percentile_ranks” : { // @2

“field” : “load_time”, // @3

“values” : [500, 600] // @4

}

}

}

}

代码@1：聚合的名称。

代码@2：聚合的类型，这里使用percentile_ranks。

代码@3：用于聚合的字段。

代码@5：设置观察值。

其他的使用与1.7 Percentiles Aggregation类似，就不单独给出JAVA示例了。

Stats Aggregation

---

返回的统计信息包括:min、max、sum、count和avg。

其示例如下：

POST /exams/_search?size=0

{

“aggs” : {

“grades_stats” : { “stats” : { “field” : “grade” } }

}

}

对应的返回结果为：

{

这篇关于ES度量聚合(ElasticSearch Metric Aggregations)，首战被MySQL惨虐的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！