최대 우도 추정

최대 우도 추정

최대 우도 추정(Maximum Likelihood Estimation, MLE)은 관측된 데이터를 가장 잘 설명하는 모델 매개변수 \(\theta\)를, 우도 함수를 최대화함으로써 추정하는 방법이다.

핵심

• \(\hat{\theta}_{MLE} = \arg\max_\theta L(\theta) = \arg\max_\theta \log L(\theta)\)로 구한다
• 로그 우도를 최대화하면 수치적으로 더 안정적이고 곱을 합으로 바꿔 계산이 쉽다
• 가우시안 분포를 가정하면 MLE는 최소제곱법과 동치이다
• 로지스틱 회귀, 나이브 베이즈 등 많은 머신러닝 알고리즘의 훈련 기준이 된다
• 데이터가 충분할 때 MLE 추정량은 일치성(consistency)과 점근적 효율성을 갖는다

수식

\[\hat{\theta} = \arg\max_\theta \sum_{i=1}^{m} \log p(y^{(i)} | x^{(i)}; \theta)\]