23.5.17 琴生不等式(Jenssen)

文章发布时间:

最后更新时间:

\(X\)为一个随机变量。若\(f\)是一个下凸函数,则有, \[E(f(X))\geq f(E(X))\] \(f\)是一个上凸函数,则有, \[E(f(X))\leq f(E(X))\] 进一步,\(f\)是严格凸的(等号只在\(\lambda=0\) or \(1\)成立),那么不等式取等当且仅当\(X\)是一个确定量(常数)。

proof 证明思路就是数学归纳法和利用凸函数的性质。下面只证明(下)凸函数,并且\(X\)为离散随机变量的情况。

\(n=2\)时,即 \[ p_1f(X)+p_2f(X)\geq f(p_1X+p_2X) \] 而这可以由下凸函数的定义直接得到。

假设不等式对于\(n=k-1\geq 2\)都成立, 当\(n=k\)时,有 \[ \begin{aligned} E(f(X))=\sum_{i=1}^{k}p_if(X)&=p_kf(X)+\sum_{i=1}^{k-1}p_if(X)\\ &=p_kf(X)+(1-p_k)\sum_{i=1}^{k-1}\frac{p_i}{1-p_k}f(X)\\ &\geq p_kf(X)+(1-p_k)f(\sum_{i=1}^{k-1}\frac{p_i}{1-p_k}X) \quad (由假设得)\\ &\geq f(p_k+(1-p_k)\sum_{i=1}^{k-1}\frac{p_i}{1-p_k}X) \quad (由凸函数的定义得)\\ &=f(\sum_{i=1}^{k}p_kX)=f(EX) \end{aligned} \] 由归纳原理,不等式对任意离散随机变量\(X\)成立。