【证明】KL散度大于0的证明

KL散度(Kullback-Leibler Divergence)也称为KL距离，它一般用来计算两个分布Q与P的距离，作为距离，KL是一定不小于0的，那为什么它一定不小于0呢，事实上，这需要一点小技巧才能证明它，下面就让我们一起来看看它的证明过程吧！马上开搞！

一、KL散度大于等于0的证明

KL散度的公式为：

其中，Q是认真分布，P是真实分布

下面证明为什么KL散度>=0。

1.1. KL散度非负-证明过程

证KL散度>=0，即证：

证明过程需要利用不等式：，利用此不等式可轻易证明KL散度不小于0。

KL散度不小于0的证明过程如下：

由于：

即：

所以有：

即     

1.2. 的证明

在上面的证明过程中，我们用到了不等式，它的证明过程如下：

令

令导数为0，则有

可知在1处取得极值，且易知是极大值，从而有

即  

从而得到

结束语

好了，以上就是KL散度大于等于0的证明了，其实主要就是利用了不等式，再化简一下就可以了，简单极了！事实上也可以从交叉熵的角度来理解它，它只是交叉熵减去自己的最小值而已，所以它的最小值就是0了。