python 文本分词后计算n-gram
2021/12/7 22:46:47
本文主要是介绍python 文本分词后计算n-gram,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
直接上代码
def n_grams(s, n): # 计算分词后的n-gram s:list tokens n: gram num result = [] for i in range(len(s)-n+1): res = "".join(s[i:i+n]) result.append(res) return result for each in data[:10].iterrows(): item = each[1] title = item[2] for each_query in str(item[3]).split(','): tokens = [] term = lac.run(each_query) print(term) for i in range(1,len(term)+1): tokens.extend(n_grams(term, i)) print(tokens) print()
结果展示:
这篇关于python 文本分词后计算n-gram的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-27使用python 将ETH账户的资产打散
- 2024-09-26Python编程基础
- 2024-09-2610 种方法写出更好的 Python 代码
- 2024-09-25Python编程基础详解
- 2024-09-25Python编程入门教程
- 2024-09-25从零开始使用Python构建LLaMA 3
- 2024-09-23Python中理解和使用树形结构的简单教程
- 2024-09-23Python 编程基础入门
- 2024-09-18初探Python股票自动化交易:入门指南
- 2024-09-18Python量化入门:轻松掌握量化分析基础与实战