下面表示概率测度, 表示概率密度函数

Hellinger distance

可以证明其满足距离的定义,且

如果

Total variation distance

可以证明其满足距离的定义,且 ,这可以由下式得到

Kullback divergence

, 如果

可以利用 Jensen inequality 证明其非负

但是不满足对称性(所以不叫 distance),可以构造 来满足对称性

如果

另一个十分有用的性质时对于正态分布来说

现考察其 KL 散度,记 ,则其KL 散度为

divergence

同样其也不满足对称性。可以证明其有性质

如果

Csizsar f-divergence

上述四个都是 Csizsar f-divergence 的特殊情况,其定义为 ,其中要求 是在 上的凸函数。之前四个距离分别是 ,

距离相关的不等式

Le Cam’s Inequallities

为方便,分别记 Hellinger、Total variation 和 KL 散度为

式一

证明:只需注意到

则有

式二

证明:

左边:

右边:注意到式一推导过程中可以推导出

由此导出

式三

证明:由于 ,代入 KL 散度计算中有

综合之前我们可以得到 ,但这并不是最优的,因为我们可以证明下式

Pinsker’s Inequalities

,并定义

注意到

可以精巧地构造出下列不等式,使用高中的导数知识求导即可证明

于是

刻画 的另一个不等式

证明:使用 Jensen 不等式有

所以有

刻画 K 和 不等式

证明: 使用 Jensen 不等式有

所以我们通过给出 的上界可以同样控制住

刻画误差下界

本文是为非参数统计中刻画误差下界服务的。其关心的值为

其中 为极大似然估计,为 其中 对应的概率密度函数。

注意到

由此我们得

  • 如果 , 则 (立得)
  • 如果 , 则 (使用
  • 如果 (或 , 则 (使用