가우시안 혼합 모델

가우시안 혼합 모델

가우시안 혼합 모델(Gaussian Mixture Model, GMM)은 데이터가 \(k\)개의 다변량 가우시안 분포의 혼합에서 생성되었다고 가정하는 확률적 생성 모델이다. EM 알고리즘으로 매개변수를 추정한다.

핵심

• 각 데이터 포인트는 어떤 가우시안 성분에서 생성되었는지를 나타내는 잠재 변수 \(z\)를 가진다
• 혼합 비율 \(\pi_k\), 각 성분의 평균 \(\mu_k\), 공분산 \(\Sigma_k\)가 학습 매개변수이다
• K-평균보다 클러스터의 형태와 밀도에 대한 더 풍부한 표현이 가능하다
• EM 알고리즘: E-step에서 소속 확률 계산, M-step에서 매개변수 업데이트
• 각 포인트의 클러스터 소속 확률을 제공하는 소프트 클러스터링이다

수식

\[p(x) = \sum_{k=1}^{K} \pi_k \mathcal{N}(x; \mu_k, \Sigma_k)\]