우도 함수

우도 함수

우도 함수(Likelihood Function)는 주어진 모델 매개변수 \(\theta\) 하에서 관측된 데이터 \(\{x^{(i)}, y^{(i)}\}\)가 나타날 확률을 \(\theta\)의 함수로 표현한 것이다. 최대 우도 추정(MLE)의 기반이 된다.

핵심

• \(L(\theta) = p(\vec{y} | X; \theta)\)로 정의된다
• 데이터 포인트들이 독립이면 우도는 각 샘플 우도의 곱이다
• 곱 계산의 수치 불안정성 때문에 로그 우도(log-likelihood)를 최대화하는 것이 일반적이다
• 우도와 확률은 다르다: 우도는 매개변수의 함수이고, 확률은 데이터의 함수이다
• 베이즈 추론에서는 우도에 사전 분포를 곱해 사후 분포를 구한다

수식

\[L(\theta) = \prod_{i=1}^{m} p(y^{(i)} | x^{(i)}; \theta)\]

\[\ell(\theta) = \log L(\theta) = \sum_{i=1}^{m} \log p(y^{(i)} | x^{(i)}; \theta)\]