국소 가중 회귀

국소 가중 회귀

국소 가중 회귀(Locally Weighted Regression, LWR)는 새로운 입력 \(x\)에 대한 예측을 할 때, 훈련 데이터 중 \(x\)에 가까운 포인트에 더 높은 가중치를 부여하여 지역적으로 선형 모델을 적합시키는 비매개변수 회귀 방법이다.

핵심

• 각 예측마다 쿼리 포인트 기준으로 전체 훈련 데이터를 사용해 새로운 모델을 적합한다
• 가중치는 거리 기반 커널 함수(주로 가우시안)로 결정된다: \(w^{(i)} = \exp\!\left(-\frac{(x^{(i)}-x)^2}{2\tau^2}\right)\)
• 대역폭 매개변수 \(\tau\)가 지역성의 범위를 제어한다
• 전역적인 매개변수를 학습하지 않는 게으른 학습(lazy learning) 방식이다
• 예측 시마다 전체 훈련 데이터를 처리해야 하므로 대규모 데이터에서 비효율적이다

수식

\[\min_\theta \sum_{i=1}^{m} w^{(i)} (y^{(i)} - \theta^T x^{(i)})^2\]