일반화 선형 모델

일반화 선형 모델

일반화 선형 모델(Generalized Linear Model, GLM)은 반응 변수 \(y\)의 분포가 지수족에 속한다는 가정 하에, 선형 예측자 \(\theta^T x\)와 기댓값 \(\mathbb{E}[y|x]\)를 연결 함수(link function)로 연결하는 모델 프레임워크이다.

핵심

• 세 가지 가정: (1) \(y|x;\theta \sim\) 지수족, (2) 목표는 \(\mathbb{E}[T(y)|x]\) 예측, (3) \(\eta = \theta^T x\)
• 선형 회귀(가우시안), 로지스틱 회귀(베르누이), 소프트맥스 회귀(다항)가 모두 GLM의 특수 경우이다
• 포아송 회귀, 감마 회귀 등 다양한 분포로 확장 가능하다
• 연결 함수에 따라 모델의 출력 범위와 해석이 달라진다
• 통일된 프레임워크로 다양한 지도 학습 알고리즘을 이해할 수 있다