이것이라면 알 수있는 심층 학습 입문 (2.43)의 도출

이것이라면 알 수있는 심층 학습 입문 (2.43)의 도출

2.4.3절의 식(2.43)의 다른 루트에서의 도출법



주의점



본 기사가 첫 투고입니다. 소지의 통계학의 교과서를 바탕으로 도출해 가고, 실수가 없도록 주의해 써 갑니다만 나의 착각이나 오타가 있을지도 모르기 때문에, 의심의 눈을 항상 돌리면서 읽어 주실 수 있다 안전하다고 생각합니다.

설정 및 정의



기호의 사용법은 참고로 한 교과서인 「입문・연습 수리통계(노다 이치오・미야오카 에요라 저)」로 갖추어 드립니다.
  • $X, Y$는 특정 결합 확률 분포에 따른 확률 변수
  • $d(X)$ 는 $X$ 의 값을 바탕으로 만들어지는 Y 의 예측값
  • $ f_X (x) $는 $ X $의 주변 확률 함수 ($ X $가 연속적인 경우 주변 확률 밀도 함수).
  • $ f_Y (y) $는 $ Y $의 주변 확률 함수 ($ Y $가 연속적인 경우 주변 확률 밀도 함수)
  • $f_{Y|X}(y|x)$는 $X=x$가 주어졌을 때의 $Y$의 조건부 확률 함수(Y가 연속형인 경우는 조건부 확률 밀도 함수)
  • $ f_ {X, Y} (x, y) $는 결합 확률 함수 ($ X, Y $가 연속적인 경우 결합 확률 밀도 함수).
  • $X, Y$의 기대치나 조건부 기대치가 존재한다고 가정합니다.

  • 정의
    E(X) := \left\{ 
    \begin{array}{} 
    \sum_i x_i f_X(x_i) & (離散型確率変数の場合) \\ \int_{-\infty}^\infty xf_X(x)dx & (連続型確率変数の場合) \end{array} 
    \right.
    
    f_{Y|X}(y|x) := \frac{f_{X, Y}(x, y)}{f_Y(y)}
    
    Var(X) := E[\{X-E(X)\}^2] = \left\{
    \begin{array}{}
    \sum_i \{x_i-E(X)\}^2 f_X(x_i) & (離散型確率変数の場合) \\ \int_{-\infty}^\infty \{x-E(X)\}^2f_X(x)dx & (連続型確率変数の場合) \end{array} 
    \right.
    
    E(Y|X=x) = E[Y|x] := \left\{
    \begin{array}{}
    \sum_y y f_{Y|X}(y|x) & (離散型確率変数の場合) \\ \int_{-\infty}^\infty y f_{Y|X}(y|x)dx & (連続型確率変数の場合) \end{array} 
    \right.
    

    정책



    먼저 식(2.43)을 나타낼 때에 이용하는 명제를 증명하고 나서, 그 명제를 사용하는 것으로 결론을 얻고 싶습니다.

    명제 증명



    명제

    $X$를 확률 변수로 한다. 이때,
    임의의 실수 $c$에 대해 $E[(X-c)^2]\geqq Var(X) = E[(X-E(X))^2]$

    증명

    $c$를 임의의 실수로 하고, $E(X) =\mu$로 한다.
    이때,
    \begin{align}
    E[(X-c)^2] &= E[\{X-\mu-(c-\mu)\}^2]\\
    &= E[(X - \mu)^2 -2(c-\mu)(X-\mu) + (c-\mu)^2]\\
    &= E[(X - \mu)^2] -2(c-\mu)E(X-\mu) + (c-\mu)^2\  (\because 期待値の加法性と定数の期待値が定数になることから)\\
    &= Var(X) -2(c-\mu)\{E(x)-\mu\} + (c-\mu)^2\ \ \ \ \ (\because上と同じ性質とVar(X)の定義から)\\
    &= Var(X) + (c-\mu)^2\\
    \end{align}
    

    그리고 $c,\mu$는 둘 다 실수이기 때문에 $(c-\mu)^2\geqq 0$를 만족한다.
    따라서 $Var(X) + (c-\mu)^2\geqq Var(X) + 0 = Var(X)$
    이상으로부터 이 명제는 성립하는 것이 나타났습니다.

    참고:

    명제 : "입문 · 연습 수리 통계"p81 (2.6.3)

    주의점

    참고 문헌을 가지고 계신 분은 알 수 있습니다만, 실은 본서내에서는 명제로서 기재되어 있는 것은 아니고 단순히
    "(2.6.3) c가 어떤 상수라도 $E[(X-c)^2]\geqq Var(X)$"(위의 책의 p81(2.6.3)에서 인용)
    라고 말하고 있기 때문에 나의 쪽에서 식이 성립되도록 명제로서 가필했습니다.
    그 때문에, 조건으로서 부족하고 있는 것이 만약 있으면 지적해 주시면 대단히 감사합니다.

    (2.4.3) 도출



    제시해야 할 것은
    任意のX=xに対して、E[\{Y-d(x)\}^2] \geqq E[\{Y-E(Y|x)\}^2]
    

    가 성립하는 것입니다.

    도출
    \begin{align}
    &任意のX = xに対して、d(x)は定数であり、Yの期待値はE(Y|x) という条件付き期待値である。\\
    &よって命題より、E[\{Y-d(x)\}^2] \geqq E[\{Y-E(Y|x)\}^2]が成り立つ。
    \end{align}
    

    이상에서
    $X=x$가 주어졌을 때의 $E[(Y-d(x))^2]$가 최소가 되는 예측치 $d^*(x)$는
    d^*(x) = E(Y|x)
    

    에 의해 주어지는 것을 보여주었습니다. 이것이 「이것이라면 알 수 있는 심층 학습 입문」(2.43)의 주장이 됩니다.

    이상으로 이 기사는 종료가 됩니다. 교제해 주셔서 감사합니다.
    실수가 있으면 지적해 주시면 감사하겠습니다.

    참고문헌


  • 이것이라면 알 수 있는 심층 학습 입문(타키 마사토 저자)
  • 입문 · 연습 수리 통계 (노다 이치오 · 미야오카 에요라)