一文介绍备机重建各种方法的实现机制

本文主要是介绍一文介绍备机重建各种方法的实现机制，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

​​【本期推荐】几百万人同时下单，你抢到的概率为何越来越大？上亿的交易数据又是如何有序地流通，保证你既能抢到，也能及时收到货？

​​​​摘要：本文将介绍备机重建各种方法的实现机制，并结合应用场景分析，以及对新增参数的使用建议，以期获得最佳应用效果。

本文分享自华为云社区《先码再看，一文介绍备机重建各种方法的实现机制》，原文作者：Victor_NK 。

1、需求介绍

GaussDB(DWS)的实例在运行过程中难免发生故障，引起实例错误或无法启动，此时就需要进行备机重建工作。备机重建功能主要目的是修复实例单点故障，此外，还可用于集群安装的初始化、集群扩容的元数据同步、节点故障后的温备替换等等场景。本文将介绍备机重建各种方法的实现机制，并结合应用场景分析，以及对新增参数的使用建议，以期获得最佳应用效果。

2、设计方案

2.1 功能分类

备机重建按照实现方式不同分为：全量重建和增量重建。

备机重建需要在待修复主机上运行 gs_ctl build 工具。在备机重建过程中，均需要和主 DN 建立连接进行数据的交互访问。在 gs_ctl 工具的命令行参数中通过–b=mode 参数，可以指定重建 DN 备机的模式。目前 mode 支持的取值包括以下四种：

full：全量重建，通过获取主备之间全量镜像差异的方式重新同步 DN 主机的数据目录。

fullcleanup：全量重建，通过全量镜像的方式重新同步 DN 主机的数据目录。与 full 模式区别为：同步前需要清理 DN 备机的数据目录，保留配置文件。主机将自己的数据目录除了配置文件外，全部发给备机。

incremental：增量重建，通过解析 WAL 日志获取主备 DN 差异的数据进行增量修复备 DN。

auto(不指定-b)：先增量重建，增量重建失败后进行全量重建。

实际生产环境中，具体使用哪种方式，就需要看需求与应用场景所定。

2.2 应用场景

备机重建按照功能场景不同分为：DN Build DN、CN build CN、CN Build DN。各 Build 的应用场景的特点如下：

选择何种修复方式最优，需要理解该模式的工作原理，并根据应用场景合理地设置相关参数。

3、实现过程

3.1fullcleanup mode:基于推送方式

fullcleanup mode 是一种推送模式，在该模式下，由主机来控制数据流程（我给啥你接啥），在不关心备机损坏程度和范围的情况下，需要主机将自己的数据目录配置文件外的全部数据传送给备机，重建后启动备机。

其主要工作过程如图 1 所示：

​fullcleanup mode build 的特点很明显，备机将得到彻底重建。但缺点也很明显：主机需要 Copy 实例上全部的数据和 XLOG 日志文件，占用较高的网络传输带宽，对运行中的业务有一定影响。备机没有对修复前数据进行原子化管理，过程中一旦失败将无法恢复到原备机。如果全量 Build 过程中由于偶发网络等原因故障失败，将前功尽弃，再次 Build 数据需要从头再来。

所以该方式是最保守的最后选项，是在其它重建方式均无效的时候的一种选择。

3.2full mode:基于文件校验获取差异的拉取方式

full mode 是一种拉取模式，在该模式下，由备机来控制数据流程（我需要啥拿啥），仅需要补齐主备之间的差异数据。但前提是备机需要知晓自己与主机差异。full mode 是直接从文件比较进行切入，主、备机可以同时多线程（并行、并发，提升性能）在各自本地上对数据目录文件进行遍历，获知文件有无、大小、文件校验计算等信息；通过这些信息，不断对计算结果 File Map List 进行合并筛选，获得最小的差异文件集合，减少数据/文件的拷贝数量。备机既可以仅备份备机的差异文件作为备份集（满足可靠性），又可以仅拉取主机的差异文件来更新（提升性能）；备机可以采用多线程（并发，提升性能）同时从主机拉取文件。

其主要工作过程如图 2 所示：

​full mode build 的特点是充分利用备机已有的文件，减少数据同步的数量，可以方便地进行备份和恢复、和并行控制。但需要花费一定时间的本地 IO 和计算为代价。与 fullcleanup mode 相比较在无资源瓶颈条件下通常速度更快（可获得数倍的提升），可靠性上更安全，是全量 build 的首选。

3.3incremental mode:基于 Xlog 分析获取差异的拉取方式

incremental mode 是另外一种拉取方式。适用于主备双主等因日志造成的不一致场景。增量重建是一种以主 DN 文件和备 DN 的 WAL 日志为基准，按照多退少补的原则对备 DN 文件和文件块进行修复。与全量重建相比较，拷贝的粒度、数据量和 WAL 日志量都更少，代价更小。

其主要工作过程如图 3 所示：

incremental mode build 只适用于主备双主等因日志造成的不一致场景。备机数据文件损坏、数据目录丢失等故障通过增量重建的方式无法修复，此时可通过全量重建的方式重新修复备机。

4、思考总结

随着备机重建功能的性能提升和可靠性的增强，build 新增了部分参数，在使用时候值得了解和注意。

4.1-T THREAD-NUMBER

适用于拉取方式的 full 和 incremental 模式。其功能是在备机侧指定与主机连接个数，用于多线程并发进行计算和与文件拉取。

通常情况下默认值为 4 已可获得较好的性能，在资源允许的情况下，建议使用更高的线程数。但需注意的是增大线程数目可以提升 Build 的性能，缩短其重建时间，但相应的也增加了网络连接、CPU、和网络 IO 的消耗，在使用时候需要考虑资源状况，合适设置。

4.2-u

适用于支持原子化功能的 full 和 incremental 模式。其功能是 Build 过程中将不进行原子化恢复和备份，适合于空间不足或无需备份的需要场景中。

Incremental build 默认是原子化，过程中严格进行原子化恢复和备份，过程中出错可恢复，排除错误后，可再次调用重入。由于 Full Build 的涉及的数据文件量大，默认无原子化，但会尝试进行原子化恢复，忽略恢复结果成败，仅在备机拉取主机上的文件占其总量 20%内进行备份。在使用时最好明确指出需要或者不需要原子化功能。

4.3-B --backupdir=DIR

适用于支持原子化功能的 full 和 incremental 模式。其功能是 Build 过程中将从指定的路径下进行备份集的恢复和备份。适合于强高可靠需求场景，在 Build 成功之前可保持备份的原子化，避免原始备份丢失。

需要注意的是，用户指定备份集路径的磁盘剩余空间应大于 DN 实例数据目录大小。且备份路径下保持空白或者是本节点的数据集，无关数据将会造成备份集失效，重新生成的备份集会让原始数据副本有丢失的风险。除 pg_rewind_bak 路径外，用户指定备份集路径的应与备机实例工作路径隔离。

想了解 GuassDB(DWS)更多信息，欢迎微信搜索“GaussDB DWS”关注微信公众号，和您分享最新最全的 PB 级数仓黑科技~

点击关注，第一时间了解华为云新鲜技术~

这篇关于一文介绍备机重建各种方法的实现机制的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！