热门标签
更多>
搜索结果
查询Tags标签: blockId,共有 3条记录-
Spark源码阅读02-Spark存储原理之存储分析
Spark存储分析 整体框架存储级别RDD存储调用读数据过程本地读取远程读取 写数据过程写入内存写入磁盘整体框架 Spark的存储采取了主从模式,即Master / Slave模式,整个存储模块使用RPC的消息通信方式。其中: Master负责整个应用程序运行期间的数据块元数据的管理和维护S…
2021/11/25 9:10:00 人评论 次浏览 -
Spark源码阅读02-Spark存储原理之存储分析
Spark存储分析 整体框架存储级别RDD存储调用读数据过程本地读取远程读取 写数据过程写入内存写入磁盘整体框架 Spark的存储采取了主从模式,即Master / Slave模式,整个存储模块使用RPC的消息通信方式。其中: Master负责整个应用程序运行期间的数据块元数据的管理和维护S…
2021/11/25 9:10:00 人评论 次浏览 -
Hadoop的序列化与反序列化实操
文章目录 0x00 文章内容 0x01 编写代码 1. 编写对象类 2. 编写调用测试代码0x02 测试结果 1. 测试序列化 2. 测试反序列化 3. 测试修改对象代码0xFF 总结0x00 文章内容 编写代码 测试结果0x01 编写代码 前提:因为需要用到Hadoop,所以需要先引入Hadoop相关的jar包 <…
2021/6/10 18:29:23 人评论 次浏览