人工智能Java SDK:句向量提取【支持100种语言】
2021/10/31 11:12:20
本文主要是介绍人工智能Java SDK:句向量提取【支持100种语言】,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
句向量SDK【支持100种语言】
句向量是指将语句映射至固定维度的实数向量。
将不定长的句子用定长的向量表示,为NLP下游任务提供服务。
-
支持下面100种语言:
-
句向量
句向量应用:
- 语义搜索,通过句向量相似性,检索语料库中与query最匹配的文本
- 文本聚类,文本转为定长向量,通过聚类模型可无监督聚集相似文本
- 文本分类,表示成句向量,直接用简单分类器即训练文本分类器
SDK功能:
- 句向量提取
- 相似度(余弦)计算
- max_seq_length: 128(subword切词,如果是英文句子,上限平均大约60个单词)
运行例子 - SentenceEncoderExample
运行成功后,命令行应该看到下面的信息:
... # 测试语句: # 英文一组 [INFO ] - input Sentence1: This model generates embeddings for input sentence [INFO ] - input Sentence2: This model generates embeddings # 中文一组 [INFO ] - input Sentence3: 今天天气不错 [INFO ] - input Sentence4: 今天风和日丽 # 向量维度: [INFO ] - Vector dimensions: 768 # 英文 - 生成向量: [INFO ] - Sentence1 embeddings: [0.10717804, 0.0023716218, ..., -0.087652676, 0.5144994] [INFO ] - Sentence2 embeddings: [0.06960095, 0.09246655, ..., -0.06324193, 0.2669841] #计算英文相似度: [INFO ] - 英文 Similarity: 0.84808713 # 中文 - 生成向量: [INFO ] - Sentence1 embeddings: [0.19896796, 0.46568888,..., 0.09489663, 0.19511698] [INFO ] - Sentence2 embeddings: [0.1639189, 0.43350196, ..., -0.025053274, -0.121924624] #计算中文相似度: #由于使用了sentencepiece切词器,中文切词更准确,比15种语言的模型(只切成字,没有考虑词)精度更好。 [INFO ] - 中文 Similarity: 0.67201
目录:
http://www.aias.top/
Git地址:
https://github.com/mymagicpower/AIAS
https://gitee.com/mymagicpower/AIAS
这篇关于人工智能Java SDK:句向量提取【支持100种语言】的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-23Springboot应用的多环境打包入门
- 2024-11-23Springboot应用的生产发布入门教程
- 2024-11-23Python编程入门指南
- 2024-11-23Java创业入门:从零开始的编程之旅
- 2024-11-23Java创业入门:新手必读的Java编程与创业指南
- 2024-11-23Java对接阿里云智能语音服务入门详解
- 2024-11-23Java对接阿里云智能语音服务入门教程
- 2024-11-23JAVA对接阿里云智能语音服务入门教程
- 2024-11-23Java副业入门:初学者的简单教程
- 2024-11-23JAVA副业入门:初学者的实战指南