지수족

지수족

지수족(Exponential Family)은 \(p(y;\eta) = b(y)\exp(\eta^T T(y) - a(\eta))\) 형태로 쓸 수 있는 확률 분포들의 집합이다. 가우시안, 베르누이, 포아송, 감마 분포 등이 모두 지수족에 속한다.

핵심

• \(\eta\)는 자연 매개변수(natural parameter), \(T(y)\)는 충분 통계량(sufficient statistic)이다
• \(a(\eta)\)는 로그 분배 함수(log partition function)로 정규화 상수 역할을 한다
• 지수족은 유한한 충분 통계량을 가지며, 켤레 사전 분포(conjugate prior)가 존재한다
• 일반화 선형 모델(GLM)의 이론적 기반이 된다
• MLE 추정 시 오목 로그 우도(concave log-likelihood)를 가져 전역 최적값이 보장된다

수식

\[p(y;\eta) = b(y)\exp\!\left(\eta^T T(y) - a(\eta)\right)\]