【人工智能导论：模型与算法】信息熵 交叉熵

本文主要是介绍【人工智能导论：模型与算法】信息熵 交叉熵，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

【人工智能导论：模型与算法】

P124 交叉熵；梯度下降法；学习率

P127 信息熵；信息增益

这几个知识点需要科普一下。

交叉熵：度量两个概率分布间的差异性信息。

信息熵：系统有序化程度的一个度量。香农用信息熵的概念来描述信源的不确定度。

信息熵：表示随机变量的不确定性。

条件熵：在一个条件下，随机变量的不确定性。

信息增益：熵 - 条件熵。表示在一个条件下，信息不确定性减少的程度。

信息增益到底怎么理解呢？ - 知乎 (zhihu.com)

这篇关于【人工智能导论：模型与算法】信息熵 交叉熵的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！