热门标签
更多>
搜索结果
查询Tags标签： Jensen，共有 4条记录-
（EM算法）The EM Algorithm
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。 1. Jensen不等式回顾优化理论中的一些…
2021/7/27 20:08:01 人评论 次浏览 -
（EM算法）The EM Algorithm
EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。 1. Jensen不等式回顾优化理论中的一些…
2021/7/27 20:08:01 人评论 次浏览 -
JS散度(Jensen–Shannon divergence)
1. 概述 KL散度存在不对称性，为解决这个问题，在KL散度基础上引入了JS散度。 \[J S\left(P_{1} \| P_{2}\right)=\frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L\left(P_{2} \| \frac{P_{1}+P_{2}}{2}\right) \]JS散度的值域范围是[0,1]，…
2021/6/14 18:51:15 人评论 次浏览 -
【机器学习系列】EM算法第三讲：由Jensen Inequality推导EM算法
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱阅读本文之前，首先注意以下两点： 1、机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续…
2021/5/23 12:27:18 人评论 次浏览
