CRUSH数据分布算法

2021/5/17 22:25:16

本文主要是介绍CRUSH数据分布算法,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

 

 

 

 

placement rule 

Cluster Map反映了存储系统层级的物理拓扑结构,placement Rules决定了了一个PG的对象副本如何选择的规则,通过这些自己设定的规则,用户可以设定副本在集群中的分布,其定义格式如下:

rule <rulename> {
    ruleset <ruleset>
    type [replicated|erasure]
    min_size <min-size>
    max_size <max-size>
    step take <bucket-name>
    step select [choose|chooseleaf] [firstn|indep] <num> type <bucket-type>
    step emit
}

 

  • ruleset : 相当于rule的id
  • type : 存储池pool的类型,是副本还是纠删码
  • min_size : 如果副本数小于这个数值,就不会应用这条rule
  • max_size : 如果副本数大于这个数值,就不会应用这条rule
  • step take : crush规则的入口,一般是类型为root的bucket
  • step sleect : 分为choose 和chooseleaf两种, num 代表选择的数量,bucket-type是预期的bucket类型
  • step emit : 代表从take开始到这个操作结束。

这里着重讲解下rule的step select,需要注意的是select开始的起点,是上一个step的输出

select 分为两种

  • choose : choose 在选择到预期类型的bucket后就到此结束,进行下一个select操作
  • chooseleaf : chooseleaf 在选择到预期的bucket后会继续递归选到osd
  • firstn 和indep : 都是深度优先遍历算法,主要区别在于如果选择的num为4,如果无法选够4个结果的时候 firstn 会返回[1,2,4] 这种结果,而indep会返回[1,2,CRUSH_ITEM_NONE,4], 一半情况下都是使用firstn

 

 

参考资料

1. 深入理解ceph crush(1)—-理解crush map文件

2. ceph若干关键问题

3. ceph的CRUSH算法的源码分析.md

4. 014 Ceph管理和自定义CRUSHMAP

5. Ceph源码解析:CRUSH算法

6.ceph的CRUSH算法的源码分析



这篇关于CRUSH数据分布算法的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程