搜索结果
查询Tags标签： CheckPoint，共有 57条记录-
聊聊Flink必知必会(二)
Checkpoint与Barrier Flink是一个有状态的流处理框架，因此需要对状态做持久化，Flink定期保存状态数据到存储空间上，故障发生后从之前的备份中恢复，这个过程被称为Checkpoint机制。而Checkpoint为Flink提供了Exactly-Once的投递保障。 流处理是一个数据不断输入的过程，…
2023/6/13 14:23:45 人评论 次浏览 -
Flink-core小总结
Flink-core小总结 1. 实时计算和离线计算 1.1 离线计算离线计算的处理数据是固定的 离线计算是有延时的，T+1 离线计算是数据处理完输出结果，只是输出最终结果 离线计算相对可以处理复杂的计算1.2 实时计算实时计算是实时的处理数据，数据从流入到计算出结果延迟低 实时计…
2022/7/29 6:22:58 人评论 次浏览 -
mysql checkpoint
checkpoint机制，主要干的事情就是把脏页刷新到磁盘。 数据库只能保证最终一致性。你在数据库运行的时候，磁盘上的数据和内存中的数据不一致太正常了。 另外checkpoint也能保证数据库在挂了，或者出事了之后，缩短他的恢复时间。这个很好理解，MySQL有redo和binlog去保证…
2022/6/29 2:22:45 人评论 次浏览 -
VMware vsphere 6.7部署步骤
各主机的IP和角色分配如下：序号 主机名 IP地址 角色1 AD.checkpoint.local10.133.1.10/24 10.96.1.100/24(ip san)AD兼 存储2 ex-node-1.checkpoint.local 10.133.1.20/24 ex节点13 ex-node-2.checkpoint.local 10.133.1.30/24 ex节点24 vcenter.checkpoint.local 10.133…
2022/5/2 7:16:14 人评论 次浏览 -
BERT预训练tensorflow模型转换为pytorch模型
在Bert的预训练模型中，主流的模型都是以tensorflow的形势开源的。但是huggingface在Transformers中提供了一份可以转换的接口（convert_bert_original_tf_checkpoint_to_pytorch.py）。 但是如何在windows的IDE中执行呢？首先，需要安装transformers (可以挂国内清华、豆…
2022/3/20 23:27:55 人评论 次浏览 -
torch保存加载模型
目录三个核心函数状态字典定义只保存/加载模型参数（推荐做法）保存/加载整个模型断点训练checkpoint使用同一个文件中保存多个模型用一个模型的参数来初始化另一个不同模型不同设备保存/加载模型 三个核心函数 torch.save() torch.load() torch.nn.Module.load_state_di…
2022/3/9 23:45:50 人评论 次浏览 -
【Flink】Flink checkpoint 本地磁盘 没有清除
文章目录1.概述1.概述 有这样一个问题，就是我的checkpoint地址配置的是本地磁盘，然后我配置了只保留最新的五个checkpoint，但是我看taskmanager磁盘上checkpoint的数据会一直保留。这个应该怎么处理呢？配置如下 flinkProperties:state.backend: hashmapstate.checkpoi…
2021/12/27 23:09:02 人评论 次浏览 -
【Flink】Flink checkpoint 本地磁盘 没有清除
文章目录1.概述1.概述 有这样一个问题，就是我的checkpoint地址配置的是本地磁盘，然后我配置了只保留最新的五个checkpoint，但是我看taskmanager磁盘上checkpoint的数据会一直保留。这个应该怎么处理呢？配置如下 flinkProperties:state.backend: hashmapstate.checkpoi…
2021/12/27 23:09:02 人评论 次浏览 -
InnoDB(2，linux运维技术分享
这种策略是指，当事务提交时，要先重做日志，然后再修改页，如果由于宕机发生修改页失败，那么可以通过日志来完成数据的恢复，这也是事务的ACID里面的D属性（Durability 持久性）。 假设重做日志可以无限增大，而且缓冲池足够大，可以缓冲所有数据库的数据，那么就不必将…
2021/12/26 7:12:09 人评论 次浏览 -
InnoDB(2，linux运维技术分享
这种策略是指，当事务提交时，要先重做日志，然后再修改页，如果由于宕机发生修改页失败，那么可以通过日志来完成数据的恢复，这也是事务的ACID里面的D属性（Durability 持久性）。 假设重做日志可以无限增大，而且缓冲池足够大，可以缓冲所有数据库的数据，那么就不必将…
2021/12/26 7:12:09 人评论 次浏览 -
机器学习分布式框架horovod安装 （Linux环境）
1、openmi 下载安装下载连接：https://download.open-mpi.org/release/open-mpi/v4.0/openmpi-4.0.1.tar.gz安装命令1 2 3 4 5shell$ gunzip -c openmpi-4.0.1.tar.gz | tar xf - shell$ cd openmpi-4.0.1 shell$ ./configure --prefix=/usr/local <...lots of output.…
2021/12/19 7:20:30 人评论 次浏览 -
机器学习分布式框架horovod安装 （Linux环境）
1、openmi 下载安装下载连接：https://download.open-mpi.org/release/open-mpi/v4.0/openmpi-4.0.1.tar.gz安装命令1 2 3 4 5shell$ gunzip -c openmpi-4.0.1.tar.gz | tar xf - shell$ cd openmpi-4.0.1 shell$ ./configure --prefix=/usr/local <...lots of output.…
2021/12/19 7:20:30 人评论 次浏览 -
Extract Abends With ERROR OGG-00868 The number of Oracle redo threads (3) is not the same as the num
Extract Abends With ERROR OGG-00868 The number of Oracle redo threads (3) is not the same as the number of checkpoint threads (4). (Doc ID 2301772.1) To BottomIn this Document Symptoms Cause Solution References APPLIES TO: Oracle GoldenGate - Ver…
2021/12/18 19:49:43 人评论 次浏览 -
Extract Abends With ERROR OGG-00868 The number of Oracle redo threads (3) is not the same as the num
Extract Abends With ERROR OGG-00868 The number of Oracle redo threads (3) is not the same as the number of checkpoint threads (4). (Doc ID 2301772.1) To BottomIn this Document Symptoms Cause Solution References APPLIES TO: Oracle GoldenGate - Ver…
2021/12/18 19:49:43 人评论 次浏览 -
HDFS Namenode挂掉后分析解决
目录 1 分析2 单节点挂掉数据恢复3 内存溢出1 分析 挂掉后首先肯定是进行重启,如果时间段比较高峰期,肯定要快速移动文件进行复原,等错过高峰进行事故分析! 2 单节点挂掉数据恢复 方法一：将SecondaryNameNode中数据拷贝到namenode存储数据的目录； 方法二：使用-importCh…
2021/12/7 20:17:00 人评论 次浏览
