搜索结果
查询Tags标签： 词频，共有 106条记录-
2.安装Spark与Python练习
基础环境—环境准备检查下载安装文件安装文件配置相关文件配置环境变量 运行pyspark在pyspark中运行代码统计词频
2022/3/6 12:46:28 人评论 次浏览 -
2.安装Spark与Python练习
一、安装Spark检查基础环境hadoop,jdk 下载spark 解压，文件夹重命名、权限 配置文件 环境变量 试运行Python代码 二、Python编程练习：英文文本的词频统计准备文本文件 读文件 预处理：大小写，标点符号，停用词 分词 统计每个单词出现的次数 按词频大小排序 结果写文…
2022/3/5 17:15:29 人评论 次浏览 -
2.安装Spark与Python练习
2.安装Spark与Python练习 1，配置相关文件与环境变量 2，在pyspark中运行代码3，Python实现英文文本的词频统计
2022/3/5 17:15:22 人评论 次浏览 -
2.安装Spark与Python练习
一、安装Spark 1.检查基础环境hadoop,jdk 2.下载spark3.解压，文件夹重命名、权限4.配置文件5.环境变量 6.试运行Python代码 二、Python编程练习：英文文本的词频统计 1.准备文本文件2.代码3.结果处理
2022/3/3 22:18:45 人评论 次浏览 -
安装spark与python练习
一、安装Spark 1、检查基础环境hadoop,jdk 2.下载spark 原有3.解压，文件夹重命名、权限 原有4.配置文件5.环境变量6.试运行Python代码 二、Python编程练习：英文文本的词频统计 1.准备文本文件2.代码3.结果处理
2022/3/3 22:15:37 人评论 次浏览 -
2.安装Spark与Python练习
1、检查基础环境hadoop,jdk启动hdfs查看进程 2、下载spark（省略，原来已下好Spark） 3、解压，文件夹重命名、权限（省略，原来已下好Spark）4、配置文件配置Spark的classPath，并加上最后一行代码 5、环境变量 6、试运行Python代码 二、Python编程练习：英文文本的词频…
2022/3/3 1:17:29 人评论 次浏览 -
安装Spark与Python练习
一、安装Spark检查基础环境hadoop,jdk 下载spark 解压，文件夹重命名、权限 配置文件 环境变量 试运行Python代码二、Python编程练习：英文文本的词频统计准备文本文件 读文件 预处理：大小写，标点符号，停用词 分词 统计每个单词出现的次数 按词频大小排序 结果写文件
2022/3/2 14:18:32 人评论 次浏览 -
elasticsearch算法之搜索模型(一)
面对海量的信息，我们很容易被淹没在信息的海洋中；当我们需要查找某个信息的时候，我们就会输入能够体现我们意图的关键字，搜索引擎会通过解析我们的关键字从而构造相应的查询表示方法；然后搜索引擎通过构造的查询在内存存储的文档集合中查找跟用户需求相关的文档，并根…
2022/3/2 9:15:08 人评论 次浏览 -
利用jieba库和wordcloud库，进行中文词频统计并利用词云图进行数据可视化
目录利用jieba库和wordcloud库，进行中文词频统计并利用词云图进行数据可视化安装jieba库安装wordcloud打开pycharm编写代码 利用jieba库和wordcloud库，进行中文词频统计并利用词云图进行数据可视化 安装jieba库打开cmd输入pip install jieba 验证：python -m pip list安…
2022/2/26 6:26:46 人评论 次浏览 -
Python | 分析txt文档特定词汇的词频，以《天龙八部》为例
首先要将txt文件另存为utf-8格式的文件，然后才能进行处理。 import refrom pymysql import DataErrorwith open (r"C:\Users\ausa\Desktop\tianlong.txt","rb") as f:data = f.read().decode() pat11 = "乔峰" pat12 = "乔大哥"…
2022/2/4 20:14:34 人评论 次浏览 -
文本数据分词，词频统计，可视化 - Python
词频、分词和可视化结合爬虫，做一些作业。爬虫库requests 词频统计库collections 数据处理库numpy 结巴分词库jieba 可视化库pyecharts等等。数据的话直接从网上抠一些东西，这里抠一篇新闻。要导入的库，一次性导入：1 import collections2 import re3 import jieba4 im…
2022/1/10 17:07:05 人评论 次浏览 -
文本数据分词，词频统计，可视化 - Python
词频、分词和可视化结合爬虫，做一些作业。爬虫库requests 词频统计库collections 数据处理库numpy 结巴分词库jieba 可视化库pyecharts等等。数据的话直接从网上抠一些东西，这里抠一篇新闻。要导入的库，一次性导入：1 import collections2 import re3 import jieba4 im…
2022/1/10 17:07:05 人评论 次浏览 -
用Python 实行第三方库（WordCloud词云库 ）
WordCloud词云库会根据你给出的字符串，对词频进行统计，然后以不同的大小显示出来，使它更加直观和艺术的实现词频的可视化。 1、使用词云库前，先通过cmd来进行下载词云库，命令：pip install wordcloud2、安装成功后，点开IDIE，输入import wordcloud来导入词云库，查看…
2022/1/2 12:37:26 人评论 次浏览 -
用Python 实行第三方库（WordCloud词云库 ）
WordCloud词云库会根据你给出的字符串，对词频进行统计，然后以不同的大小显示出来，使它更加直观和艺术的实现词频的可视化。 1、使用词云库前，先通过cmd来进行下载词云库，命令：pip install wordcloud2、安装成功后，点开IDIE，输入import wordcloud来导入词云库，查看…
2022/1/2 12:37:26 人评论 次浏览 -
大数据词频统计作业
一、 需求描述 Hadoop综合大作业 要求： 1.将待分析的文件（不少于10000英文单词）上传到HDFS。 2.调用MapReduce对文件中各个单词出现的次数进行统计。 3.将统计结果下载本地。 4.写一篇博客描述你的分析过程和分析结果。 本次大作业，我们需要实现的是调用MapReduce对文…
2021/12/28 23:44:19 人评论 次浏览
