Mapreduce实例——求平均值

2021/12/7 6:22:54

本文主要是介绍Mapreduce实例——求平均值,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

实验目的

1.准确理解Mapreduce求平均值的设计原理

2.熟练掌握Mapreduce求平均值程序的编写

3.学会编写Mapreduce求平均值程序代码解决问题

实验原理

求平均数是MapReduce比较常见的算法,求平均数的算法也比较简单,一种思路是Map端读取数据,在数据输入到Reduce之前先经过shuffle,将map函数输出的key值相同的所有的value值形成一个集合value-list,然后将输入到Reduce端,Reduce端汇总并且统计记录数,然后作商即可。具体原理如下图所示:

 

 

启动hadoop

 

 

 

生成文件

 

 

 

创建项目、写入代码

 

 

 

运行

 

 

 

结果:

 

 



这篇关于Mapreduce实例——求平均值的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程