euphoriaO-O

티스토리에서 깃헙 블로그로 옮긴지는 꽤 됐다. 처음에는 단지 공부를 위함이었는데, 그래도 적어도 PRML 공부한 것들은 공유할만하다고 해서 여기에 링크를 공유하고자 한다. PRML ch3 Bayesian-Linear-Regression Bayesian Linear Regression 먼저, 이 글은 PRML (CH3) 공부를 바탕으로 작성된 글입니다. 따라서, 간혹 틀리다거나 더 좋은 해석이 있다면 편하게 댓글 부탁드립니다! euphoria0-0.github.io PRML ch 4 Bayesian-Logistic-Regression Bayesian Linear Regression 먼저, 이 글은 PRML (CH3) 공부를 바탕으로 작성된 글입니다. 따라서, 간혹 틀리다거나 더 좋은 해석이 있다면 편하게 ..

1. Introduction Pattern Recognition: 주어진 데이터에서 특정한 패턴을 찾아내는 것. training set로부터 학습하여 test set을 예측 학습 시에는 전처리, 특성 추출, 차원 축소 등의 방법을 활용 예측 시 "일반화 generalization" 을 목표로 한다. 예측은 분류와 회귀 task로 나뉠 수 있고 지도학습, 비지도학습, 강화학습 등의 방법이 있다. 1.1 Example: Polynomial Curve Fitting 곡선 적합 input $\mathbf{x}=(x_1,...,x_N)^T$, target $\mathbf{t}=(t_1,...,t_N)^T$ $$y(x,\mathbf{w})=w_0+w_1x+w_2x^2+...+w_Mx^M=\sum_{j=0}^{M}w..

PRML 책의 예측 분포의 나타내는 식 (1.69)을 증명하겠습니다. (같은 책 식 3.58도 해당됩니다!) 이는 3.3절에서 다시 언급되지만 연습문제로 넘어가 친절하게 설명되어 있지는 않습니다. 여기서 우리는 책에서 나온 많은 식들을 가져올 예정입니다. (pf) 먼저, 새로운 input $x$와 예측해야 할 target $t$는 헷갈리니 $x_{NEW}$, $t_{NEW}$로 두었습니다. 우리가 찾을 확률 (1.69)는 (1.68)에 의해 다음과 같습니다. 여기서 1번은 (1.60)에 의해 확률분포를 바로 알 수 있었지만, 2번은 (1.66)의 비례 관계를 통해 풀고자 합니다. 여기서 사용되는 트릭은 단순히 정규분포 formation을 갖게 하는 것입니다. 여기서, $exp$ 안 쪽 수식을 다시 자세히..

베이즈 정리 (Bayes' Theorem) $p(\mathbf{w}|\mathcal{D})=\frac{p(\mathcal{D}|\mathbf{w})p(\mathbf{w})}{p(\mathcal{D})}$