최소제곱법

최소제곱법

최소제곱법(Least Squares Method)은 예측값 \(h_\theta(x^{(i)})\)와 실제값 \(y^{(i)}\)의 차이인 잔차(residual)의 제곱합을 최소화하여 모델 매개변수 \(\theta\)를 추정하는 방법이다.

핵심

• 비용 함수 \(J(\theta) = \frac{1}{2}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2\)을 최소화한다
• 정규 방정식(normal equation) \(\theta = (X^TX)^{-1}X^Ty\)로 닫힌 해를 구할 수 있다
• 가우시안 분포의 최대 우도 추정과 수학적으로 동치이다
• 데이터가 많을 경우 \((X^TX)^{-1}\) 계산 비용이 커서 경사 하강법을 선호한다
• 이상치(outlier)에 민감하다는 단점이 있다

수식

\[J(\theta) = \frac{1}{2}(X\theta - y)^T(X\theta - y)\]

정규 방정식: \(\theta = (X^TX)^{-1}X^Ty\)