搜索结果
查询Tags标签： 分词，共有 83条记录-
京东云PostgreSQL在GIS场景的应用分享
在地图或地理信息有关的场景里，地址关键词的检索尤其重要。比如打开百度地图，想要查询某个位置的信息“北京市海淀区清华东路17号中国农业大学”，往往我们输入的是关键词“中国农业大学”而不是精确到街道的详细地址信息。在地址关键词检索的背后，需要的是一款可以支持…
2022/8/31 2:22:57 人评论 次浏览 -
03-Elasticsearch之分词器
七、分词器 7.1、分词器介绍了解分词器的概念分词器（Analyzer）是将一段文本，按照一定逻辑，拆分成多个词语的一种工具，如下所示华为手机 ---> 华为、手、手机ElasticSearch 内置分词器有以下几种Standard Analyzer默认分词器，按词/字切分，小写处理 （英文）华…
2022/7/23 6:22:43 人评论 次浏览 -
NLP分词算法简介
1. 简介 NLP的底层任务由易到难大致可以分为词法分析、句法分析和语义分析。分词是词法分析（还包括词性标注和命名实体识别）中最基本的任务，可以说既简单又复杂。说简单是因为分词的算法研究已经很成熟了，大部分的准确率都可以达到95%以上，说复杂是因为剩下的5%很难有…
2022/7/8 1:20:56 人评论 次浏览 -
ElasticSearch 设置某个字段不分词
先说结论：字段类型更改为 keyword elasticSearch官方文档中创建index代码如下PUT /my_store {"mappings" : {"products" : {"properties" : {"productID" : {"type" : "string","index" : "…
2022/4/14 6:17:10 人评论 次浏览 -
5.RDD操作综合实例
5.RDD操作综合实例一、词频统计 A. 分步骤实现 1、准备文件分词排除大小写lower()，map().标点符号re.split(pattern,str)，flatMap(),先导入re然后用re.split分词(\W+会匹配所有非单词字符,(\W+)会返回这些，但我们不需要返回，所以这里用\W+即可)停用词,可网盘下载stopw…
2022/4/7 6:20:16 人评论 次浏览 -
IK分词器(elasticsearch插件)
IK分词器(elasticsearch插件)IK分词器：中文分词器分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一一个匹配操作，默认的中文分词是将每个字看成一个词（<mark>不使用…
2022/3/26 23:23:06 人评论 次浏览 -
2.安装Spark与Python练习
一、安装Spark环境配置： 启动spark： 试运行python代码： 二、Python编程练习：英文文本的词频统计准备文本文件 读文件 预处理：大小写，标点符号，停用词 分词 统计每个单词出现的次数 按词频大小排序 结果写文件 思路：先读取文件文本内容，使用循环将内容中的每一个…
2022/3/6 20:15:42 人评论 次浏览 -
2.安装Spark与Python练习
一、安装Spark检查基础环境hadoop,jdk 下载spark 解压，文件夹重命名、权限 配置文件 环境变量 试运行Python代码 二、Python编程练习：英文文本的词频统计准备文本文件 读文件 预处理：大小写，标点符号，停用词 分词 统计每个单词出现的次数 按词频大小排序 结果写文…
2022/3/5 17:15:29 人评论 次浏览 -
中文分词的正向及逆向最大匹配算法
中文分词的正向及逆向最大匹配算法不同于英文，汉语的句子是单词的组合，除标点符号外，并不存在分隔符，这是中文分词的难点所在。分词的第一步是获得词汇表，中文词汇存在叠词现象，例如： 词汇表越大，分词歧义性出现的可能越大，所以需要在词汇表的规模和最终分词结果…
2022/3/1 17:22:46 人评论 次浏览 -
R语言基础—文本分词处理
今天给大家介绍一下，有需要的伙伴可以自己再深入的学习一下。 "jiebaR"最早是Python中处理分词的组件，目前已有大神将该包分布到了R语言中。“jiebaR"包是R语言中处理中文分词的包，它：1.同时支持简体、繁体中文；2.支持自定义词库，设置词频、词性；3.…
2022/2/24 6:23:39 人评论 次浏览 -
Java实现标题相似度计算，文本内容相似度匹配，Java通过SimHash计算标题文本内容相似度
目录 一、前言 二、关于SimHash 补充知识 一）、什么是海明距离 二）、海明距离的应用 三）、什么是编辑距离 三、SimHash算法的几何意义和原理 一）、SimHash算法的几何意义 二）、SimHash的计算原理三）、文本的相似度计算 四、Java通过SimHash计算文本内容相似度代码示…
2022/2/10 1:20:08 人评论 次浏览 -
ASP.NET 中文分词搜索
代码：string keyword =RemoveHTML(GetString("Keyword"));StringBuilder strWhere=new StringBuilder("isaudit=1 "+(typeId==0?"": "and TypeID=" + typeId));if (!string.IsNullOrWhiteSpace(keyword)){if (keyword.Length &…
2022/2/7 11:12:43 人评论 次浏览 -
SQL 为啥执行这么慢
1. MySQL查询慢是什么体验？谢邀，利益相关。大多数互联网应用场景都是读多写少，业务逻辑更多分布在写上。对读的要求大概就是要快。那么都有什么原因会导致我们完成一次出色的慢查询呢？1.1 索引在数据量不是很大时，大多慢查询可以用索引解决，大多慢查询也因为索引不合…
2022/1/31 2:04:25 人评论 次浏览 -
Python结巴（jieba）库之花拳绣腿
结巴（jieba）库是百度工程师Sun Junyi开发的一个开源库，在GitHub上很受欢迎。作为优秀的中文分词第三方库， jieba最流行的应用是分词，除此之外，还可以做关键词抽取、词频统计等。jieba支持四种分词模式： 精确模式：试图将句子最精确地切开，不存在冗余单词；搜索引擎…
2022/1/27 9:04:16 人评论 次浏览 -
文本数据分词，词频统计，可视化 - Python
词频、分词和可视化结合爬虫，做一些作业。爬虫库requests 词频统计库collections 数据处理库numpy 结巴分词库jieba 可视化库pyecharts等等。数据的话直接从网上抠一些东西，这里抠一篇新闻。要导入的库，一次性导入：1 import collections2 import re3 import jieba4 im…
2022/1/10 17:07:05 人评论 次浏览
