收敛速度的下界

在第一章中,我们分别研究了

核密度估计中的单点误差

核密度估计中的 误差

局部多项式估计的单点误差

局部多项式估计的 误差

局部多项式估计的 误差

投影估计的 误差

可以看到他们都有一个形式极为相近的收敛速度(除了可能有 的差别)。那么一个自然的想法就是,我们是否达到了最优的收敛速度?能否继续改进。事实上可以证明,上面给出了收敛速度已经达到了最优,而本章就是在研究如何论证这一命题。

求下界的框架:Minimax rate

我们的设定如下

首先我们有一个非参的函数空间 ,我们所要估计的函数落在这个空间内,比如之前提到的 (Holder 空间) 或 (Sobolev 空间)

一族概率测度 。在概率密度模型中, 是样本 上的概率测度,其中每个样本 的概率密度为

一个 上的距离度量 ,满足非负性 , 同一性 , 对称性 和三角不等式

而我们估计参数的方法即为

为了度量这个估计的好坏,我们考察参数空间中最坏的情况,定义出最大风险为

之前的章节中我们证明的就是对于我们构造的那些估计中,有

而接下来的章节就是寻找当 充分大时,所有估计方法中风险的下界(也就是考察最好的估计方法,不能比这个再好了)

为此,我们定义 minimax risk 为

之前建立上界的时候意味着存在常数 ,使得对于一个收敛于零的序列

而对应的下界说明存在常数 ,对于同样的序列 ,有

而如果某个估计 满足下式,我们就称他为渐进最优的

一个更一般性的框架是定义最大风险为

其中 称为 loss 函数,此时下界可以如下给出

常见的 可以选为

三步走

为了得到一个下界,一个典型的方法使用了三次放缩

放缩至概率

根据 Markov 不等式,我们有

其中

放缩至有限空间

中的一个有限子集 ,我们有

构造 可分子集

取合适的 使得

定义

那么有

为方便,以后记 ,

至此,如果我们能证明 其中 为一个常数,则

总结

至此,我们得到了一个有效的检验框架:我们会构造一系列 ,然后验证下面几个条件

  • 落在我们讨论的空间里
  • 可分的
  • 我们找到 的一个常数下界

这样,我们就得到了一个收敛速度的下界,它和 是同阶的。
在接下来的两章里,我们将会分别考虑两点测试和多点测试,并看如何构造 ,并利用他们的性质刻画出 的一个下界。