搜索结果
查询Tags标签: 自然语言处理,共有 35条记录-
怎么让英文大预言模型支持中文?(一)构建自己的tokenization
代码地址:https://github.com/taishan1994/sentencepiece_chinese_bpePart1前言目前,大语言模型呈爆发式的增长,其中,基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好,接下来本文将讲解如何去扩充vocab里面的词以对中文进行token化。Part…
2023/6/24 14:52:19 人评论 次浏览 -
“中国法研杯”司法人工智能挑战赛:基于UTC的多标签/层次分类小样本文本应用,Macro F1提升13%+
“中国法研杯”司法人工智能挑战赛:基于UTC的多标签/层次分类小样本文本应用,Macro F1提升13%+ 相关文章推荐: 本项目主要完成基于UTC的多标签应用,更多部署细节请参考推荐文章。本项目提供了小样本场景下文本多标签分类的解决方案,在 UTC的基础上利用提示学习取得比…
2023/5/19 14:22:07 人评论 次浏览 -
Prompt工程师指南[从基础到进阶篇]:用于开发和优化提示,以有效地使用语言模型(LMs)进行各种应用和研究主题
Prompt工程师指南[从基础到进阶篇]:用于开发和优化提示,以有效地使用语言模型(LMs)进行各种应用和研究主题 Prompt工程是一种相对较新的学科,用于开发和优化提示,以有效地使用语言模型(LMs)进行各种应用和研究主题。Prompt工程技能有助于更好地理解大型语言模型(…
2023/5/15 11:22:09 人评论 次浏览 -
LLM(大语言模型)解码时是怎么生成文本的?
Part1配置及参数transformers==4.28.1 源码地址:transformers/configuration_utils.py at v4.28.1 huggingface/transformers (github.com) 文档地址:Generation (huggingface.co) 对于生成任务而言:text-decoder, text-to-text, speech-to-text, and vision-to-text …
2023/4/25 18:22:03 人评论 次浏览 -
统计机器翻译(SMT)工具Moses在Ubuntu上的安装及使用(使用篇)
统计机器翻译(SMT)工具Moses在Ubuntu上的安装及使用(使用篇) 准备双语平行语料 Moses可以翻译任意两种语言,其准确率很大程度取决于平行语料库的质量和规模,如何在低资源语料下提升机器翻译质量同样也是神经机器翻译面临的难题。 下面我们将介绍Moses在开源平行语料…
2022/12/9 4:24:56 人评论 次浏览 -
统计机器翻译(SMT)工具Moses在Ubuntu上的安装及使用(安装篇)
前言 研究生毕业了,方向是机器翻译,抽空整理一下相关的资料,希望能帮助其他人。本篇博客将介绍统计机器翻译工具Moses在Ubuntu上的安装过程以及Ubuntu的相关配置。Moses 是一个统计机器翻译系统,可以为任意两种语言执行翻译任务,下一篇博客将介绍Moses的使用。 Ubunt…
2022/12/3 4:23:55 人评论 次浏览 -
【九月打卡】第十三天重识C语言
课程名称:重识C语言章节名称:1-1重识C语言讲师姓名:DavidChin内容概述:ANSI C二十世纪八十年代,为了避免开发厂商用的C语言语法产生差异,由美国国家标准局为C语言订定了一套完整的国际标准语法,称为ANSI C,作为C语言的标准。二十世纪八十年代至今的有关程序开发…
2022/9/19 3:17:22 人评论 次浏览 -
基于图深度学习的自然语言处理方法和应用
导读: 本次分享的内容为图深度学习在自然语言处理领域的方法与应用,主要内容和素材都来自于我们Graph4NLP团队的一篇调研文章:Graph Neural Networks for Natural Language Processing:A Survery,以及我们团队所开发的Graph4NLP的python开源库和教程。主要包括以下几…
2022/5/6 8:12:50 人评论 次浏览 -
Elasticsearch Analysis 分析器
Elasticsearch Analysis 分析器 Analysis —文本分析是把全文本转换一系列单词(term/token)的过程,也叫分词 Analysis是通过Analyzer来实现的 可使用 Elasticsearch 内置的分析器/或者按需定制化分析器 除了在数据写入时转换词条,匹配Query语句时候也需要用相同的分析器…
2021/8/9 8:05:56 人评论 次浏览 -
Elasticsearch Analysis 分析器
Elasticsearch Analysis 分析器 Analysis —文本分析是把全文本转换一系列单词(term/token)的过程,也叫分词 Analysis是通过Analyzer来实现的 可使用 Elasticsearch 内置的分析器/或者按需定制化分析器 除了在数据写入时转换词条,匹配Query语句时候也需要用相同的分析器…
2021/8/9 8:05:56 人评论 次浏览 -
有道技术沙龙 | AI 语音交互技术在语言学习场景的实践
经过数月的精心筹备有道技术沙龙即将正式启动!首先感谢:思否、将门-TechBeat、掘金技术社区合作伙伴的大力帮助首期我们将和大家聊聊语音交互技术的那些事儿明星爱豆的声音是如何生成的?一根笔如何教会小朋友读绘本?选择题也可以用语音来回答吗?答案尽在 有道技术沙龙…
2021/3/17 14:41:51 人评论 次浏览 -
对话京东科技算法科学家吴友政:回望2020,NLP技术发展速度强劲
作为人工智能领域中热度最高、挑战最大的子领域之一,自然语言处理(NLP)在最近几年得到了飞速的发展。2020 年我们又迎来了 GPT-3,1750 亿参数让其自诞生就引起了开发者们的激烈讨论。短短一年时间,知识图谱的成熟度由萌芽期一跃达到预期膨胀高峰且非常接近最高点…近…
2021/2/7 14:11:47 人评论 次浏览 -
人类的悲欢虽不相通,但情感分析模型读得懂
内容提要:社交媒体逐渐成为当今人们生活的一部分,而它也成为心理学家们进行研究的重要数据来源。与此同时,研究者也尝试利用自然语言处理、机器学习技术,来预测社交媒体用户的情绪波动。原创:HyperAI超神经关键词:自然语言处理 心理学去年突如其来的新冠疫情,深刻地…
2021/2/2 14:10:54 人评论 次浏览 -
直播预告丨NLP领域的2020年大事记及2021展望
过去两年,自然处理领域最受关注的模型之一便是BERT,各大公司和高校陆续发布了自己的预训练语言模型;2020年,OpenAI发布的GPT-3,这是一种具有1,750亿个参数的自然语言深度学习模型,它的出现是比号称_“最强NLP模型”_的GPT-2大_100倍_,去年5月GPT-3的论文一经发表就…
2021/1/21 5:08:34 人评论 次浏览 -
在Windows下使用Anaconda安装TesnsorFlow 2.x
作者 | 弗拉德 来源 | 弗拉德 下载 Anaconda 首先打开[Anaconda官网]找到网页底部,由于最新的Anaconda支持Python3.8版本,而TesnorFlow最高支持到Python3.7,我特意查了一下Python3.8发布的时间点,所以我们需要点击页面的achrive去找历史版本下载。点击后进入到Anacond…
2020/12/21 8:07:24 人评论 次浏览