大数据关键技术：自然语言处理入门篇

本文主要是介绍大数据关键技术：自然语言处理入门篇，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

自然语言处理简介

自然语言处理概况

什么是自然语言处理？

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR等方面。

(1) 计算机将自然语言作为输入或输出：

• 输入对应的是自然语言理解；
• 输出对应的是自然语言生成；

(2) 关于NLP的多种观点：

• A、人类语言处理的计算模型：
  • ——程序内部按人类行为方式操作
• B、 人类交流的计算模型：
  • ——程序像人类一样交互
• C、有效处理文本和语音的计算系统

(3) NLP的应用：

A、机器翻译（Machine Translation）…….

B、MIT翻译系统（MIT Translation System）……

C、文本摘要（Text Summarization）……

D、对话系统（Dialogue Systems）……

E、其他应用（Other NLP Applications）：

　　——语法检查（Grammar Checking）

　　——情绪分类（Sentiment Classification）

　　——ETS作文评分（ETS Essay Scoring）

自然语言处理相关问题

为什么自然语言处理比较难？

(1) 歧义

“At last, a computer that understands you like your mother”

对于这句话的理解：

　　A、 它理解你就像你的母亲理解你一样；

　　B、 它理解你喜欢你的母亲；

　　C、 它理解你就像理解你的母亲一样

　　D、 我们来看看Google的翻译：终于有了一台像妈妈一样懂你的电脑（看上去Google的理解更像选项A）。

　A到C这三种理解好还是不好呢？

(2) 不同层次的歧义

　　A、 声音层次的歧义——语音识别：

　　——“ ... a computer that understands you like your mother”

　　——“ ... a computer that understands you lie cured mother”

　　B、语义（意义）层次的歧义：

　　　Two definitions of “mother”：

　　　——a woman who has given birth to a child

　　　——a stringy slimy substance consisting of yeast cells and bacteria; is added to cider or wine to produce vinegar

　　C、话语（多语）层次的歧义、句法层次的歧义：

NLP的知识瓶颈

我们需要：

　——有关语言的知识；

　——有关世界的知识；

可能的解决方案：

　——符号方法 or 象征手法：将所有需要的信息在计算机里编码；

　——统计方法：从语言样本中推断语言特性；

（1）例子研究：限定词位置

任务：在文本中自动地放置限定词

样本：Scientists in United States have found way of turning lazy monkeys into workaholics using gene therapy. Usually monkeys work hard only when they know reward is coming, but animals given this treatment did their best all time. Researchers at National Institute of Mental Health near Washington DC, led by Dr Barry Richmond, have now developed genetic treatment which changes their work ethic markedly. ”Monkeys under influence of treatment don’t procrastinate,” Dr Richmond says. Treatment consists of anti-sense DNA - mirror image of piece of one of our genes - and basically prevents that gene from working. But for rest of us, day when such treatments fall into hands of our bosses may be one we would prefer to put off.

（2）相关语法规则

　a) 限定词位置很大程度上由以下几项决定：

　　i. 名词类型-可数，不可数；

　　ii. 照应-特指，类指；

　　iii. 信息价值-已有，新知

　　iv. 数词-单数，复数

　b) 然而，许多例外和特殊情况也扮演着一定的角色，如：

　　i. 定冠词用在报纸名称的前面，但是零冠词用在杂志和期刊名称前面

（3） 符号方法方案

　a) 我们需要哪些类别的知识:

　　i. 语言知识：

　　　-静态知识：数词，可数性，…

　　　-上下文相关知识：共指关系

　　ii. 世界知识：

• 引用的唯一性（美国现任总统），名词的类型（报纸与杂志），名词之间的情境关联性（足球比赛的得分），......

　　iii. 这些信息很难人工编码！

（4）统计方法方案

　a) 朴素方法：

　　i. 收集和你的领域相关的大量的文本

　　ii. 对于其中的每个名词，计算它和特定的限定词一起出现的概率

　　iii. 对于一个新名词，依据训练语料库中最高似然估计选择一个限定词

　b) 实现：

　　i. 语料：训练——华尔街日报(WSJ)前21节语料，测试——第23节

　　ii. 预测准确率：71.5%

　c) 结论：

　　i. 结果并不是很好，但是对于这样简单的方法结果还是令人吃惊

　　ii. 这个语料库中的很大一部分名词总是和同样的限定词一起出现，如：

　　　-“the FBI”,“the defendant”, ...

（5）作为分类问题的限定词位置

​ a) 预测：

　b) 代表性的问题：

　　i. 复数？（是，否）

　　ii. 第一次在文本中出现？

　　iii. 名词（词汇集的成员）

　c) 图表例子略

　d) 目标：学习分类函数以预测未知例子

（6）分类方法

　a) 学习X->Y的映射函数

　b) 假设已存在一些分布D（X,Y)

　c) 尝试建立分布D(X,Y)和D(X|Y)的模型

（7）分类之外

　a) 许多NLP应用领域可以被看作是从一个复杂的集合到另一个集合的映射：

　　i. 句法分析: 串到树

　　ii. 机器翻译: 串到串

　　iii. 自然语言生成:数据词条到串

　b) 注意，分类框架并不适合这些情况！

自然语言处理：单词计数

语料库及其性质

(1) 什么是语料库（Corpora）

　i. 一个语料库就是一份自然发生的语言文本的载体，以机器可读形式存储；

(2) 单词计数（Word Counts）

　i. 在文本中最常见的单词是哪些?

　ii. 在文本中有多少个单词?

　iii. 在大规模语料库中单词分布的特点是什么?

(3) 我们以马克吐温的《汤姆索耶历险记》为例：

　单词(word)　　频率（Freq)　　用法(Use)

　the　　　　　　3332　　　　　determiner (article)

　and　　　　　　2972　　　　　conjunction

　a　　　　　　　1775　　　　　determiner

　to　　　　　　　1725　　　　　preposition, inf. marker

　of　　　　　　　1440　　　　　preposition

　was　　　　　　1161　　　　　auxiliary verb

　it　　　　　　　1027　　　　　pronoun

　in　　　　　　　906　　　　　preposition

　that　　　　　　877　　　　　complementizer

　Tom　　　　　　678　　　　　proper name

虚词占了大多数

(4) 这个例句里有多少个单词：

They picnicked by the pool, then lay back on the grass and looked at the stars.

　i. “型”(Type) ——语料库中不同单词的数目，词典容量

ii. “例”(Token) — 语料中总的单词数目

　iii. 注：以上定义参考自《自然语言处理综论》

　iv. 汤姆索耶历险记（Tom Sawyer）中有：

　　1. 词型— 8, 018

　　2. 词例— 71, 370

　　3. 平均频率— 9（注：词例/词型）

(5) 词频的频率：

　大多数词在语料库中仅出现一次!

自然语言处理的一般步骤

(1) 文本预处理（分词、去除停用词、词干化）

(2) 统计词频

(3) 文本向量化

分词相关知识

(1) Tokenization

　i. 目标：将文本切分成单词序列

　ii. 单词指的是一串连续的字母数字并且其两端有空格；可能包含连字符和撇号但是没有其它标点符号

标签：数据,语言,机器翻译,话语,icode9, 来源：

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

这篇关于大数据关键技术：自然语言处理入门篇的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！