좌표 상승

좌표 상승

좌표 상승(Coordinate Ascent)은 목적 함수의 여러 매개변수를 동시에 최적화하는 대신, 한 번에 하나의 변수(또는 좌표)만 최적화하며 나머지는 고정하는 반복적 최적화 방법이다. 최소화 버전은 좌표 하강(coordinate descent)이라 한다.

핵심

• 각 단계에서 다른 변수들을 고정한 채 하나의 변수에 대한 닫힌 형태 해를 구한다
• EM 알고리즘은 잠재 변수 분포(E-step)와 모델 매개변수(M-step)에 대한 좌표 상승으로 해석할 수 있다
• 각 단계가 목적 함수를 단조 증가시키므로 수렴이 보장된다
• 고차원 문제에서 전체 경사 계산이 어려울 때 유용하다
• SVD, 라쏘 회귀(LARS 알고리즘) 등에도 사용된다