이산화

이산화

이산화(Discretization)는 연속적인 상태 공간을 유한한 이산 격자(grid)로 분할하여, 표(tabular) 형태의 강화 학습 알고리즘을 연속 상태 MDP에 적용할 수 있게 하는 방법이다.

핵심

• 각 연속 상태를 가장 가까운 격자 포인트에 매핑하여 이산 상태처럼 처리한다
• 구현이 단순하고 이해하기 쉬운 장점이 있다
• 차원의 저주(curse of dimensionality) 문제로 고차원 상태 공간에서는 비실용적이다
• 상태 공간이 \(n\)차원이고 각 차원을 \(k\)개로 분할하면 \(k^n\)개의 상태가 필요하다
• 함수 근사(신경망 등)가 이산화의 대안으로 연속 상태 강화 학습에 사용된다