마코프 부등식

정리 1

$X$가 확률변수이며 $m$은 양의 정수이고 $E[X^m]$이 존재한다고 하자.
만약 $k$가 정수이고 $k\le m$이면 $E[X^m]$가 존재한다.

(증명)

연속형인 경우에 증명하나 적분을 합으로 바꿔 이산형을 증명할 수 있다.

$f(x)$를 $X$의 pdf라고 하자. 그러면

 

$\int_{-\infty}^{\infty} {\mid x \mid}^k f(x) dx = \int_{\mid x \mid \le 1} {\mid x \mid}^k f(x) dx + \int_{\mid x \mid > 1}{\mid x \mid}^k f(x) dx$

                                     $\le \int_{\mid x \mid \le 1} f(x) dx + \int_{\mid x \mid > 1} {\mid x \mid}^m f(x) dx$

                                     $\le \int_{-\infty}^{\infty} f(x) dx + \int_{-\infty}^{\infty} {\mid x \mid}^m f(x) dx$

                                     $\le 1 + E[{\mid X \mid}^m < \infty]$

가 된다.

 

 

마코프 부등식 (Markov Inequality)

$u(X)$를 확률변수 X의 음이 아닌 함수라고 하자.
$E[u(X)]$가 존재하면 모든 양수 $c$에 대해 다음이 성립한다.
$P[u(X) \ge c] \le \frac {E[u(X)]} {c}$

(증명)

확률변수 $X$가 연속형인 경우에 증명하나 적분을 합으로 바꿔 이산형을 증명할 수 있다.

$A=\{x: u(x) \ge c\}$라 하고 $f(x)$를 $X$의 pdf라 하자. 그러면

$E[u(X)]=\int_{-\infty}^{\infty} u(x)f(x)dx = \int_{A} u(x)f(x)dx + \int_{A^c} u(x)f(x)dx$

이다. 위 방정식의 우변에 있는 각 적분은 음이 아니고, 좌변은 이 중 어느 것보다 크거나 같다. 특히

$E[u(X)] \ge \int_{A} u(x)f(x)dx$

이다. 그러나 $x \in A$이면 $u(x) \ge c$이므로 위 부등식의 우변은 $u(x)$를 $c$로 바꾸어도 증가하지 않는다. 따라서

$E[u(X)] \ge c \int_{A} f(x) dx$

$\int_{A} f(x) dx = P(X \in A) = P[u(X) \ge c]$

$E[u(X)] \ge cP[u(X) \ge c]$

가 된다.

 

체비셰프 부등식 (Chebyshev's inequality)

체비셰프 부등식은 마코프 부등식의 special case

확률변수 $X$가 유한 분산 $\sigma^2$을 갖는 확률분포를 따른다고 하자. (평균 $\mu = E(X)$ 존재) 이때, 모든 $k>0$에 대해
$P(\mid X-\mu \mid \ge k\sigma) \le \frac {1}{k^2}$$P(\mid X-\mu \mid < k\sigma) 1- \frac {1}{k^2}$

(증명)

마코프 부등식에서 $u(X)=(X-\mu)^2, c=k^2\sigma^2$이라 하면

$P[(X-\mu)^2 \ge k^2\sigma^2] \le \frac {E[(X-\mu)^2]}{k^2\sigma^2}$

이다. 위 부등식에서 우변의 분자는 $\sigma^2$이므로

$P(\mid X - \mu \mid \ge k \sigma) \le \frac {1} {k^2}$

가 된다.

 

 

볼록성

$-\infty \le a < b \le \infty$일 때 구간 $(a,b)$에서 정의된 함수 $\phi$는 $(a,b)$ 안에 있는 모든 $x, y$와 모든 $0<\gamma<1$에 대해
$\phi[\gamma x+(1-\gamma)y] \le \gamma \phi (x) + (1-\gamma)\phi (y)$이면 볼록(convex)함수라 하고 위 부등식이 엄격하면 순볼록(strictly convex)라 한다.

 

젠센 부등식 (Jensen's inequality)

만약 $\phi$가 개구간 $I$에서 볼록이고, $X$가 받침이 $I$안에 있고 유한 기댓값을 갖는 확률변수이면
$\phi[E(X)] \le E[\phi(X)]$
이다. 만약 $\phi$가 순볼록이면 부등식은 $X$가 상수 확률변수가 아닌 한 엄격하다.

(증명)

$\phi$가 2차 미분된다고 가정한다. 그러나 일반적으로는 볼록성만 요구된다.

$\phi(x)$를 $\mu=E[X]$에 대해 2차까지 테일러 급수로 확장하면

$\phi(x)=\phi(\mu)+\phi^{'} (\mu)(x-\mu)+\frac {\phi^{''}(\zeta)(x-\mu)^2}{2}$

이다. 여기서 $x < \zeta < \mu$. 위 식에서 오른쪽 끝은 음이 아니므로

$\phi (x) \ge \phi(\mu) + \phi^{'}(\mu)(x-\mu)$

이다. 양쪽에 기댓값을 취하면 결과가 유도된다. 이 부등식은 $X$가 상수가 아니라고 할 때, 모든 $x \in (a,b)$에 대해 $\phi^{''}(x) > 0$이면 엄격하다.

 

젠센 부등식에 의해

기하평균 $\le$ 조화평균 $\le$ 산술평균

$\frac {1}{\frac {1}{n} \sum_{i=1}^{n} \frac {1}{a_i}} \le (a_1a_2 \dots a_n)^{\frac {1}{n}} \le \frac {1}{n} \sum_{i=1}^{n} a_i$

이 보여질 수 있다.