热门标签
更多>
搜索结果
查询Tags标签: 落盘,共有 3条记录-
Spark源码——shuffle
原理回顾 一个RDD的两个分区的数据shuffle到另一个RDD的两个分区中后,如果上一个RDD还存在其他分区没执行完毕的话,不能往下执行,就会造成当前RDD内存数据挤压 所以中间就需要落盘操作,中间需要磁盘文件File shuffle一定会有落盘,但是效率慢,如何提高效率?落盘数据…
2022/2/18 22:41:49 人评论 次浏览 -
MySQL架构详解
依然使用InnoDB引擎 一、Server层 1. 连接器:连接建立后的权限变更不会对原有连接起作用,重新建立连接后才生效;show processlist命令可以查看系统中的连接,Command列为Sleep的连接为空闲连接;长时间没有动静(默认8小时,参数wait_timeout控制),连接会自动断开;数据…
2022/2/1 19:09:38 人评论 次浏览 -
mysql提交机制
1.mysql日志 物理日志 redo恢复 持久性 undo 回滚 原子性 WAL机制 (Write Ahead Log) 逻辑日志 binlog 二阶段提交保持一致性 1.Storage Engine(InnoDB) transaction prepare阶段:存储引擎的准备阶段,写redo-buffer 此时SQL已经成功执行,并生成xid信息及redo和undo的内…
2021/5/16 19:28:50 人评论 次浏览