Jensen不等式

Jensen不等式以丹麦数学家约翰·詹森(Johan Jensen)命名。它给出均值的凸函数值和凸函数的均值间的大小关系。

if $X$ is a random variable and $\varphi$ is a convex function, then
$$
\varphi(E[X]) \le E[\varphi (X)].
$$
特别地,如果$\varphi$是严格凸函数,当且仅当$X$是常量时,上式取等号。Jensen不等式应用于凹函数时,不等号方向反向。

从凸函数说起, 设$\varphi$ 是定义域为实数的函数,如果对于所有的实数$x$,$\varphi(x)$的二次导数大于等于0,那么$\varphi(x)$是凸函数。如果$f(x)$的二次导数只大于0,不等于0,那么称 $\varphi(x)$ 是严格凸函数。当 $x$ 是向量时,如果$\varphi(x)$ 的 Hessian 矩阵H是半正定的,那么$\varphi(x)$是凸函数。如果 Hessian 矩阵H是正定的那么称$\varphi(x)$是严格凸函数。

凸函数又如下性质: 过一个凸函数上任意两点所作割线, 割线一定在这两点间的函数图象的上方,即:
$$
f( tx_1 + (1-t)x_2)\leq tf(x_1)+(1-t)f(x_2). \tag{1}
$$

其中, $f$ 为如函数, 如下图所示:

ConvexFunction

将(1)推广到一般情形:

$$
f(\sum_{i=1}^n t_i x_i) \le \sum_{i=1}^n t_i f(x_i). \tag{2}
$$
其中: $x_i \in I, t_i \ge 0, \sum_{i=1}^n t_i =1, 1 \le i \le n$

令:
$$
t_i = \frac {p_i}{\sum_{i=1}^n p_i}.
$$
则 (2) 可以改写成
$$
f(\frac{\sum_{i=1}^n p_i x_i}{\sum_{i=1}^n p_i}) \le \frac{\sum_{i=1}^n p_i f(x_i)}{\sum_{i=1}^n p_i}. \tag{3}
$$

这就是jensen不等式的形式之一.

如果是$p_i$都取特殊的值,如:$p_i =1,i =1,2,\dots,n$ 则(3)可表示为

$$
f(\frac{\sum_{i=1}^n x_i}{n}) \le \frac{\sum_{i=1}^n f(x_i)}{n}
$$

即:
$$
f(E[X]) \le E[f(X)]. \tag{4}
$$
其中: $X=\{x_1, x_2, \dots, x_n\}$.

式(4)就是均值形式Jensen不等式.

reference

Jensen’s inequality