04 Hadoop思想与原理

本文主要是介绍04 Hadoop思想与原理，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1.用图与自己的话，简要描述Hadoop起源与发展阶段。（作业3中剪过来）

　　　　（1）Hadoop起源于Google的三大论文：
　　　　GFS：Google的分布式文件系统Google File System
　　　　MapReduce：Google的MapReduce开源分布式并行计算框架
　　　　BigTable：一个大型的分布式数据库

　　　　（2）Hadoop的发展：

　　　　0.x系列版本：hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本
　　　　1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等
　　　　2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性

2.用图与自己的话，简要描述名称节点、第二名称节点、数据节点的主要功能及相互关系。

名称结点（NameNode）：1.负责文件和目录的创建、删除和重命名等　　2.管理着数据结点和文件块的映射关系　　3.处理客户端的访问请求

数据结点（DataNode）：1.负责数据的存储和读取　　2.根据名称结点的命令创建、删除和复制数据块　　3.心跳机制，与名称结点保持通信。

第二名称结点（SecondaryNode）：1.完成EditLog和FsImage的合并操作，减少EditLog文件大小，缩短名称结点重启时间　　

　　　　　　　　　　　　　　　　2.作为名称结点的”检查点“，保存名称结点中的元数据信息。

这篇关于04 Hadoop思想与原理的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！