搜索结果
查询Tags标签： CheckPoint，共有 57条记录-
HDFS Namenode挂掉后分析解决
目录 1 分析2 单节点挂掉数据恢复3 内存溢出1 分析 挂掉后首先肯定是进行重启,如果时间段比较高峰期,肯定要快速移动文件进行复原,等错过高峰进行事故分析! 2 单节点挂掉数据恢复 方法一：将SecondaryNameNode中数据拷贝到namenode存储数据的目录； 方法二：使用-importCh…
2021/12/7 20:17:00 人评论 次浏览 -
PostgreSQL控制文件讲解及案例
PostgreSQL控制文件内容： 主要分为是三部分，初始化静态信息、WAL及检查点的动态信息、一些配置信息。 我们可以用过pg_controldata命令直接读取PostgreSQL控制文件内容： [postgres@postgresdb ~]$ /u01/postgres/pgsql/bin/pg_controldata -D /data/postgres/data pg_c…
2021/12/7 2:24:05 人评论 次浏览 -
PostgreSQL控制文件讲解及案例
PostgreSQL控制文件内容： 主要分为是三部分，初始化静态信息、WAL及检查点的动态信息、一些配置信息。 我们可以用过pg_controldata命令直接读取PostgreSQL控制文件内容： [postgres@postgresdb ~]$ /u01/postgres/pgsql/bin/pg_controldata -D /data/postgres/data pg_c…
2021/12/7 2:24:05 人评论 次浏览 -
Oracle 11g 数据库启动时实例恢复的背后
当系统、数据文件以及数据文件头这三个checkpoint_change#一致(只读、脱机表空间除外)时，数据库才能正常打开。 正常关库时，会生成新的检查点，写入上述三个checkpoint_change#，同时数据文件中的last_change#也会记录下该检查点，也就是说三个checkpoint_change#与last…
2021/12/4 19:16:33 人评论 次浏览 -
Oracle 11g 数据库启动时实例恢复的背后
当系统、数据文件以及数据文件头这三个checkpoint_change#一致(只读、脱机表空间除外)时，数据库才能正常打开。 正常关库时，会生成新的检查点，写入上述三个checkpoint_change#，同时数据文件中的last_change#也会记录下该检查点，也就是说三个checkpoint_change#与last…
2021/12/4 19:16:33 人评论 次浏览 -
Spark中的RDD容错机制
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。 因此，Spark选…
2021/10/31 23:15:58 人评论 次浏览 -
Spark中的RDD容错机制
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。 因此，Spark选…
2021/10/31 23:15:58 人评论 次浏览 -
ubuntu中使用终端命令行快速查看torch.save保存的pth / pth.tar格式训练数据的方法
在使用pytorch框架训练深度学习网络的时候，我们可以很方便地使用torch.save()方法对训练过程中的网络参数等信息进行保存。比如这里，我们保存成的文件格式为pth.tar（如下图所示），咋一看以为是一个压缩包，需要先解压一下。其实不用，直接使用torch.load就可以了。下面…
2021/10/31 7:12:25 人评论 次浏览 -
ubuntu中使用终端命令行快速查看torch.save保存的pth / pth.tar格式训练数据的方法
在使用pytorch框架训练深度学习网络的时候，我们可以很方便地使用torch.save()方法对训练过程中的网络参数等信息进行保存。比如这里，我们保存成的文件格式为pth.tar（如下图所示），咋一看以为是一个压缩包，需要先解压一下。其实不用，直接使用torch.load就可以了。下面…
2021/10/31 7:12:25 人评论 次浏览 -
PostgreSQL如何管理无用的WAL文件
1 引言最近在看checkpoint机制的时候，着重看了一下WAL日志的管理、切换和回收机制，在此简单总结一下。 2 WAL日志的切换PostgreSQL将xlog记录写入pg_xlog子目录的WAL段文件中(10版本后是pg_wal)，当旧的段文件写满时就会切换至新的段文件。WAL文件的数量会因为某些参数发…
2021/10/6 19:44:05 人评论 次浏览 -
PostgreSQL如何管理无用的WAL文件
1 引言最近在看checkpoint机制的时候，着重看了一下WAL日志的管理、切换和回收机制，在此简单总结一下。 2 WAL日志的切换PostgreSQL将xlog记录写入pg_xlog子目录的WAL段文件中(10版本后是pg_wal)，当旧的段文件写满时就会切换至新的段文件。WAL文件的数量会因为某些参数发…
2021/10/6 19:44:05 人评论 次浏览 -
MongoDB（3.2.x）存储引擎WiredTiger和In-Memory
概述 存储引擎（Storage Engine）是MongoDB的核心组件，负责管理数据如何存储在硬盘（Disk）和内存（Memory）上。从MongoDB 3.2 版本开始，MongoDB 支持多数据存储引擎（Storage Engine），MongoDB支持的存储引擎有：WiredTiger，MMAPv1和In-Memory。从MongoDB 3.2 版本开…
2021/9/16 19:35:15 人评论 次浏览 -
MongoDB（3.2.x）存储引擎WiredTiger和In-Memory
概述 存储引擎（Storage Engine）是MongoDB的核心组件，负责管理数据如何存储在硬盘（Disk）和内存（Memory）上。从MongoDB 3.2 版本开始，MongoDB 支持多数据存储引擎（Storage Engine），MongoDB支持的存储引擎有：WiredTiger，MMAPv1和In-Memory。从MongoDB 3.2 版本开…
2021/9/16 19:35:15 人评论 次浏览 -
secondary namenode详解
NameNode职责是管理元数据信息，DataNode的职责是负责数据具体存储，那么SecondaryNameNode的作用是什么？它为什么会出现在HDFS中? 从它的名字上看，给人的感觉就像是NameNode的备份。但它实际上却不是。 大家猜想一下，当HDFS集群运行一段时间后，就会出现下面一些问题…
2021/9/12 20:06:37 人评论 次浏览 -
secondary namenode详解
NameNode职责是管理元数据信息，DataNode的职责是负责数据具体存储，那么SecondaryNameNode的作用是什么？它为什么会出现在HDFS中? 从它的名字上看，给人的感觉就像是NameNode的备份。但它实际上却不是。 大家猜想一下，当HDFS集群运行一段时间后，就会出现下面一些问题…
2021/9/12 20:06:37 人评论 次浏览
