인자 분석

인자 분석

인자 분석(Factor Analysis)은 고차원 관측 데이터 \(x \in \mathbb{R}^n\)이 저차원 잠재 요인 벡터 \(z \in \mathbb{R}^k\) (\(k \ll n\))의 선형 변환과 노이즈로 생성된다고 가정하는 생성 모델이다.

핵심

• 데이터의 분산을 공통 요인(common factors)과 특수 분산(unique variance)으로 분해한다
• 생성 모델: \(x = \Lambda z + \mu + \epsilon\), 여기서 \(z \sim \mathcal{N}(0, I)\), \(\epsilon \sim \mathcal{N}(0, \Psi)\)
• EM 알고리즘으로 \(\Lambda\)(인자 적재 행렬)와 \(\Psi\)(노이즈 공분산)를 추정한다
• PCA와 달리 각 변수의 고유 분산을 모델링하여 더 해석 가능한 표현을 얻는다
• 심리 측정(psychometrics), 설문 조사 분석, 차원 축소에 활용된다

수식

\[x = \Lambda z + \mu + \epsilon, \quad z \sim \mathcal{N}(0, I), \quad \epsilon \sim \mathcal{N}(0, \Psi)\]