网站首页 站内搜索

搜索结果

查询Tags标签: blockId,共有 3条记录
  • Spark源码阅读02-Spark存储原理之存储分析

    Spark存储分析 整体框架存储级别RDD存储调用读数据过程本地读取远程读取 写数据过程写入内存写入磁盘整体框架 Spark的存储采取了主从模式,即Master / Slave模式,整个存储模块使用RPC的消息通信方式。其中: Master负责整个应用程序运行期间的数据块元数据的管理和维护S…

    2021/11/25 9:10:00 人评论 次浏览
  • Spark源码阅读02-Spark存储原理之存储分析

    Spark存储分析 整体框架存储级别RDD存储调用读数据过程本地读取远程读取 写数据过程写入内存写入磁盘整体框架 Spark的存储采取了主从模式,即Master / Slave模式,整个存储模块使用RPC的消息通信方式。其中: Master负责整个应用程序运行期间的数据块元数据的管理和维护S…

    2021/11/25 9:10:00 人评论 次浏览
  • Hadoop的序列化与反序列化实操

    文章目录 0x00 文章内容 0x01 编写代码 1. 编写对象类 2. 编写调用测试代码0x02 测试结果 1. 测试序列化 2. 测试反序列化 3. 测试修改对象代码0xFF 总结0x00 文章内容 编写代码 测试结果0x01 编写代码 前提:因为需要用到Hadoop,所以需要先引入Hadoop相关的jar包 <…

    2021/6/10 18:29:23 人评论 次浏览
扫一扫关注最新编程教程