信息论-信息不等式、数据处理不等式、信息图、Fano不等式

本文主要是介绍信息论-信息不等式、数据处理不等式、信息图、Fano不等式，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

1.相关概念及关系：

(1)

  (2)相对熵 D（ p | | q ）:在p的概率分布下q比p多的信息量（个人理解）

（3）条件互信息量 I( X ; Y|Z ) : I( X ; Y|Z ) = H( X|Z )-H( X|Y,Z ).     理解：Y｜Z是Y比Z多的信息量

  (4) 垂直符号：独立

2.链式法则：

3.Markov Chain(三元)

Markov Chain：某一时刻的信息只与其前若干时刻有关。

对 X->Y->Z:

性质1:X，Z相对于Y独立；

性质2:反过来的Z->Y->X也是Markov Chain

性质3:若Z=f（Y），则 X->Y->Z是Markov Chain

性质4: I( X ; Z|Y )=0

        I(X ; Y|Z)<I(X ;Y)

　　　注意：I(X ; Y|Z)<I(X ;Y)并不是恒成立，我不理解。。。

4.数据处理不等式：对Markov Chain X->Y->Z，I(X;Y）>= H(X;Z).   理解：数据处理的越多，丢失的信息越多

　　　　　　　　                                      ->I(X;Y）>= H(X;g(Y))

5.fano不等式

理解：错误趋于0时，可以从现象恢复出本质

*.救命

这篇关于信息论-信息不等式、数据处理不等式、信息图、Fano不等式的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！