차원의 저주

차원의 저주

차원의 저주(Curse of Dimensionality)는 데이터나 매개변수 공간의 차원이 증가함에 따라 데이터 희소성, 필요한 샘플 수, 계산 복잡도 등이 기하급수적으로 증가하여 알고리즘이 비효율적이 되는 현상이다.

핵심

• 고차원 공간에서 데이터 포인트들이 서로 멀어져 "근접 이웃"의 의미가 약해진다
• 고차원 공간의 부피 대부분이 경계 근처에 집중되어 직관적 이해가 어렵다
• 강화 학습의 이산화에서 \(n\)차원 공간을 \(k\) 격자로 분할하면 \(k^n\)개의 상태가 필요하다
• 차원 축소(PCA, ICA), 특징 선택, 함수 근사 등으로 완화한다
• 딥러닝이 고차원 데이터에서 효과적인 이유는 데이터의 저차원 유효 다양체를 학습하기 때문이다