点互信息pmi

2021/10/5 23:41:39

本文主要是介绍点互信息pmi,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

由于在文本处理中会用到互信息所以做一下总结

pmi(Pointwise Mutual Information):

pmi(a,b) = log\frac{p(a,b)}{p(a)p(b)}

= log\frac{p(a|b)}{p(a)} = log\frac{p(b|a)}{p(b)}

如果a和b不相关值为1。当ab条件独立时,p(a|b) = p(a)此时pmi为0。

如果ab的联合概率越大则该值越大。

在文本处理中经常会遇到计算pmi

其中 p(a,b) 为 a和b共现的次数/总字符数(如果ab均代表字符的情况下也就是unigram)

p(a) 为 a出现的次数/总字符数,p(b) 为b出现的次数/总字符数

这里联合概率是存在一些问题的因为p(a,b) = p(b,a) 但实际文本处理过程中a和b两个字符存在顺序。

参考文献:

互联网时代的社会语言学:基于SNS的文本数据挖掘 | Matrix67: The Aha Moments

新词发现的信息熵方法与实现 - 科学空间|Scientific Spaces

点互信息和互信息 PMI - 简书



这篇关于点互信息pmi的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程