[PRML] Prove (1.69) - (1.72)

 

 

PRML (1.69)

 

 

PRML 책의 예측 분포의 나타내는 식 (1.69)을 증명하겠습니다. (같은 책 식 3.58도 해당됩니다!)

이는 3.3절에서 다시 언급되지만 연습문제로 넘어가 친절하게 설명되어 있지는 않습니다.

여기서 우리는 책에서 나온 많은 식들을 가져올 예정입니다.

(pf)

먼저, 새로운 input $x$와 예측해야 할 target $t$는 헷갈리니 $x_{NEW}$, $t_{NEW}$로 두었습니다.

우리가 찾을 확률 (1.69)는 (1.68)에 의해 다음과 같습니다.

 

 

 

 

여기서 1번은 (1.60)에 의해 확률분포를 바로 알 수 있었지만, 2번은 (1.66)의 비례 관계를 통해 풀고자 합니다.

여기서 사용되는 트릭은 단순히 정규분포 formation을 갖게 하는 것입니다.

 

 

 

여기서, $exp$ 안 쪽 수식을 다시 자세히 살펴보겠습니다.

여기서는 이 확률분포 형태가 정규분포의 형태를 가지도록 식을 계속 변환할 것입니다.

(직관적으로보면, $\mathbf{w}$에 대한 이차식 형태가 나타날 것이고 상수 벡터 등을 고려하지 않다보면 정규분포 형태를 가질 것이라 추측할 수 있습니다. 여기서는 증명을 위해 거꾸로(정규분포 형태를 만들기 위해 변형) 하겠습니다.)

 

 

따라서, 다시 $exp$ 안으로 넣어보면 비례식 형태로 확률분포를 보일 수 있습니다.

참고로, 비례식 형태로 변수에 대한 정규분포를 가지게 되면 나머지는 normalize constant가 되므로 생략해도 괜찮습니다.

++ ) $S$와 관련해 질문이 들어왔는데, $S$는 symmetric matrix이므로 위와 같이 표현될 수 있습니다. 그림의 deriving 과정에서 이를 생략하였습니다.

 

 

이제 2번 확률의 분포를 알아내었습니다.

이제 예측분포를 알아낼 수 있습니다.
여기서 사용되는 것은 책 기준 (2.113)-(2.115)의 주변 가우시안 분포에 대한 정리입니다.

 

 

 

 

따라서 예측 분포가 위에서 언급된 평균 (1.70)과 분산 (1.71)을 갖는 정규분포를 가짐을 확인할 수 있습니다.

 

++) 추가: 위에서 사용된 주변 가우시안 분포 정리 (2.115) 증명

이는 PRML 책 2.3.3에 잘 설명되어있습니다.

 

 

 

나중에 시간이 된다면 더 자세한 설명을 넣겠습니다. 틀린 부분이나 궁금한 점이 있다면 편하게 댓글 달아주시먼 감사하겠습니다.