搜索结果
查询Tags标签： rdd，共有 215条记录-
6. RDD综合练习：更丰富的操作
集合运算练习 union()， intersection()，subtract(), cartesian() 三、学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 stu.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countBy…
2022/4/20 23:16:29 人评论 次浏览 -
6、RDD综合练习：更丰富的操作
集合运算练习 union()， intersection()，subtract(), cartesian(）内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计三、 持久化 scm.cache()总共有多少学生？map(), distinct(), count() 开设了多…
2022/4/20 23:16:02 人评论 次浏览 -
6. RDD综合练习：更丰富的操作
集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin()多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习：学生课程分数 1、网盘下载sc.txt文件，通过RDD操作实现以下数据分…
2022/4/17 6:42:47 人评论 次浏览 -
RDD综合练习：更丰富的操作
集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习：学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析…
2022/4/14 6:19:30 人评论 次浏览 -
|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Spark.V12|------------------------------------------|Spa
[BigDataHadoop：Hadoop&Spark.V12] [BigDataHadoop.Spark内存级快速计算引擎][|章节二|Hadoop|spark|sparkcore：RDD编程高阶&spark原理初探&RDD编程优化|]一、RDD编程优化### --- RDD复用~~~ 避免创建重复的RDD…
2022/4/12 14:12:41 人评论 次浏览 -
6. RDD综合练习：更丰富的操作
三、学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 1.总共有多少学生？map(), distinct(), count()2.开设了多少门课程？3.每个学生选修了多少门课？map(), countByKey() 4.每门课程有多少个学生选？map(), countByValue()5.多少个100分？6.Tom选修了几…
2022/4/12 6:16:28 人评论 次浏览 -
5.RDD操作综合实例
一、词频统计 A. 分步骤实现 准备文件 1.下载小说或长篇新闻稿2.上传到hdfs上 读文件创建RDD分词 排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词filter() 统计词频 按词频排序输出到文件…
2022/4/11 23:43:01 人评论 次浏览 -
5.RDD操作综合实例
一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿上传到hdfs上读文件创建RDD分词排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap()停用词,可网盘下载stopwords.txt,filter()长度小于2的词filter()统计词频按词频排序输出到文件查看结果B. 一句…
2022/4/9 23:49:54 人评论 次浏览 -
5.RDD操作综合实例
一、词频统计 A. 分步骤实现 1、准备文件1、下载小说或长篇新闻稿2、上传到hdfs上2、读文件创建RDD3、分词4、 排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(),长度小于2的词filter()5、统计词频6、按词频排序7、输出到文件 8、查看结果B. 一句话实现…
2022/4/8 6:20:12 人评论 次浏览 -
五、RDD操作综合实例
A.分步骤实现 1.准备文本文件2.读文件3.分词4.排除大小写lower(),map() 标点符号re.split(pattern,str)，flatMap() 停用词,可网盘下载stopwords.txt,filter() 长度小于2的词filter()5.统计映射成键值对6.排序7.写文件 8.查看文件 B.一句话实现 文件入文件出 C.和作业2…
2022/4/7 23:23:25 人评论 次浏览 -
5.RDD操作综合实例
一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿上传到hdfs上读文件创建RDD分词排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词filter()1.统计词频2.按词频排序3.输出到文件4.查…
2022/4/7 23:20:54 人评论 次浏览 -
5.RDD操作综合实例
5.RDD操作综合实例一、词频统计 A. 分步骤实现 1、准备文件分词排除大小写lower()，map().标点符号re.split(pattern,str)，flatMap(),先导入re然后用re.split分词(\W+会匹配所有非单词字符,(\W+)会返回这些，但我们不需要返回，所以这里用\W+即可)停用词,可网盘下载stopw…
2022/4/7 6:20:16 人评论 次浏览 -
5.RDD操作综合实例
一、词频统计 A. 分步骤实现 1.准备文件1.下载小说或长篇新闻稿 2.上传到hdfs上2.读文件创建RDD3.分词4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter() 长度小于2的词filter() 5.统计词频 6.按词频排序 7…
2022/4/7 6:19:50 人评论 次浏览 -
5.RDD操作综合实例
一、词频统计 A. 分步骤实现 1.准备文件(1)下载小说或长篇新闻稿 (2)上传到hdfs上 2.读文件创建RDD 3.分词4.排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于2的词filter()5.统计词频6.按词频排…
2022/4/6 23:23:01 人评论 次浏览 -
5.RDD操作综合实例
准备文件,上传到hdfs上 读文件创建RDD 分词 排除大小写，标点符号 统计词频 排序 输出到文件查看结果 B.一句话实现
2022/4/6 6:22:01 人评论 次浏览
