2.4.3절의 식(2.43)의 다른 루트에서의 도출법

주의점

본 기사가 첫 투고입니다. 소지의 통계학의 교과서를 바탕으로 도출해 가고, 실수가 없도록 주의해 써 갑니다만 나의 착각이나 오타가 있을지도 모르기 때문에, 의심의 눈을 항상 돌리면서 읽어 주실 수 있다 안전하다고 생각합니다.

설정 및 정의

기호의 사용법은 참고로 한 교과서인 「입문・연습 수리통계(노다 이치오・미야오카 에요라 저)」로 갖추어 드립니다.

$X, Y$는 특정 결합 확률 분포에 따른 확률 변수

$d(X)$ 는 $X$ 의 값을 바탕으로 만들어지는 Y 의 예측값

$ f_X (x) $는 $ X $의 주변 확률 함수 ($ X $가 연속적인 경우 주변 확률 밀도 함수).

$ f_Y (y) $는 $ Y $의 주변 확률 함수 ($ Y $가 연속적인 경우 주변 확률 밀도 함수)

$f_{Y|X}(y|x)$는 $X=x$가 주어졌을 때의 $Y$의 조건부 확률 함수(Y가 연속형인 경우는 조건부 확률 밀도 함수)

$ f_ {X, Y} (x, y) $는 결합 확률 함수 ($ X, Y $가 연속적인 경우 결합 확률 밀도 함수).

$X, Y$의 기대치나 조건부 기대치가 존재한다고 가정합니다.

정의

E(X) := \left\{ 
\begin{array}{} 
\sum_i x_i f_X(x_i) & (離散型確率変数の場合) \\ \int_{-\infty}^\infty xf_X(x)dx & (連続型確率変数の場合) \end{array} 
\right.

f_{Y|X}(y|x) := \frac{f_{X, Y}(x, y)}{f_Y(y)}

Var(X) := E[\{X-E(X)\}^2] = \left\{
\begin{array}{}
\sum_i \{x_i-E(X)\}^2 f_X(x_i) & (離散型確率変数の場合) \\ \int_{-\infty}^\infty \{x-E(X)\}^2f_X(x)dx & (連続型確率変数の場合) \end{array} 
\right.

E(Y|X=x) = E[Y|x] := \left\{
\begin{array}{}
\sum_y y f_{Y|X}(y|x) & (離散型確率変数の場合) \\ \int_{-\infty}^\infty y f_{Y|X}(y|x)dx & (連続型確率変数の場合) \end{array} 
\right.

정책

먼저 식(2.43)을 나타낼 때에 이용하는 명제를 증명하고 나서, 그 명제를 사용하는 것으로 결론을 얻고 싶습니다.

명제 증명

명제

$X$를 확률 변수로 한다. 이때,
임의의 실수 $c$에 대해 $E[(X-c)^2]\geqq Var(X) = E[(X-E(X))^2]$

증명

$c$를 임의의 실수로 하고, $E(X) =\mu$로 한다.
이때,

\begin{align}
E[(X-c)^2] &= E[\{X-\mu-(c-\mu)\}^2]\\
&= E[(X - \mu)^2 -2(c-\mu)(X-\mu) + (c-\mu)^2]\\
&= E[(X - \mu)^2] -2(c-\mu)E(X-\mu) + (c-\mu)^2\  (\because 期待値の加法性と定数の期待値が定数になることから)\\
&= Var(X) -2(c-\mu)\{E(x)-\mu\} + (c-\mu)^2\ \ \ \ \ (\because上と同じ性質とVar(X)の定義から)\\
&= Var(X) + (c-\mu)^2\\
\end{align}

그리고 $c,\mu$는 둘 다 실수이기 때문에 $(c-\mu)^2\geqq 0$를 만족한다.
따라서 $Var(X) + (c-\mu)^2\geqq Var(X) + 0 = Var(X)$
이상으로부터 이 명제는 성립하는 것이 나타났습니다.

참고:

명제 : "입문 · 연습 수리 통계"p81 (2.6.3)

주의점

참고 문헌을 가지고 계신 분은 알 수 있습니다만, 실은 본서내에서는 명제로서 기재되어 있는 것은 아니고 단순히
"(2.6.3) c가 어떤 상수라도 $E[(X-c)^2]\geqq Var(X)$"(위의 책의 p81(2.6.3)에서 인용)
라고 말하고 있기 때문에 나의 쪽에서 식이 성립되도록 명제로서 가필했습니다.
그 때문에, 조건으로서 부족하고 있는 것이 만약 있으면 지적해 주시면 대단히 감사합니다.

(2.4.3) 도출

제시해야 할 것은

任意のX=xに対して、E[\{Y-d(x)\}^2] \geqq E[\{Y-E(Y|x)\}^2]

가 성립하는 것입니다.

도출

\begin{align}
&任意のX = xに対して、d(x)は定数であり、Yの期待値はE(Y|x) という条件付き期待値である。\\
&よって命題より、E[\{Y-d(x)\}^2] \geqq E[\{Y-E(Y|x)\}^2]が成り立つ。
\end{align}

이상에서
$X=x$가 주어졌을 때의 $E[(Y-d(x))^2]$가 최소가 되는 예측치 $d^*(x)$는

d^*(x) = E(Y|x)

에 의해 주어지는 것을 보여주었습니다. 이것이 「이것이라면 알 수 있는 심층 학습 입문」(2.43)의 주장이 됩니다.

이상으로 이 기사는 종료가 됩니다. 교제해 주셔서 감사합니다.
실수가 있으면 지적해 주시면 감사하겠습니다.

참고문헌

이것이라면 알 수 있는 심층 학습 입문(타키 마사토 저자)

입문 · 연습 수리 통계 (노다 이치오 · 미야오카 에요라)