회귀

회귀

회귀(Regression)는 입력 변수 \(x\)로부터 연속적인 실수값 출력 \(y \in \mathbb{R}\)을 예측하는 지도 학습 문제 유형이다. 집값 예측, 기온 예측 등이 대표적인 예이다.

핵심

• 출력이 연속값인 점에서 이산 클래스를 예측하는 분류와 구별된다
• 선형 회귀는 가장 기본적인 회귀 모델로, \(h_\theta(x) = \theta^T x\)로 예측한다
• 최소제곱법(least squares)으로 매개변수를 추정하는 것이 일반적이다
• 다항 회귀, 국소 가중 회귀 등 비선형 확장이 존재한다
• 평균 제곱 오차(MSE)가 가장 널리 쓰이는 손실 함수이다

수식

\[\min_\theta \sum_{i=1}^{m}(h_\theta(x^{(i)}) - y^{(i)})^2\]