The Illusion of Equivalency - Statistical Characterization of Quantization Effects in LLMs

B. Rababah, C. G. Akcora, and C. K. Leung, "The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs," arXiv:2607.08734, 2026.

후처리 양자화(post-training quantization)는 큰 LLM을 자원이 제한된 환경에 배포하는 표준 수단입니다. 가중치의 수치 정밀도를 낮춰 모델 크기와 메모리 대역폭, 추론 비용을 줄입니다. 그런데 이 양자화가 잘 됐는지 판단할 때, 현장은 거의 정확도와 퍼플렉시티 두 지표에만 기댑니다. 이 논문은 그 두 지표가 양자화로 생긴 행동 변화를 놓친다고 주장합니다. 총점은 그대로인데 모델이 실제로 내리는 판단은 달라져 있는 상황, 저자들은 이것을 등가성의 착시(illusion of equivalency)라고 부릅니다.

저자

캐나다 University of Manitoba에서 나온 연구입니다. 1저자 Baha Rababah는 Manitoba 컴퓨터공학과 Red River College Polytechnic에 걸쳐 있고, 시니어 저자 Carson K. Leung은 데이터 마이닝과 빅데이터 분석에서 450편이 넘는 논문을 낸 정교수입니다. 공저자 Cuneyt Gurcan Akcora는 University of Central Florida AI Institute 부교수로 그래프 러닝과 복잡 네트워크 데이터과학을 다룹니다. 모델의 표현 능력보다 가중치 분포의 통계적 구조를 파고드는 이 논문의 접근은, 데이터 분석과 네트워크 통계를 오래 다룬 이 조합의 색이 묻어나는 대목입니다.

배경

양자화의 본래 목적은 계산 효율을 얻으면서 원본 모델의 기능적 행동을 보존하는 것입니다. 그런데 행동 보존은 과제 정확도를 넘어섭니다. 사실 지식, 추론 견고성, 일관된 스타일과 안전성 같은 특성까지 포함합니다. 이들은 양자화에 특히 취약합니다. 파라미터의 작은 수치 교란이 깊은 아키텍처를 통과하며 비선형으로 증폭돼 예상 못한 행동 변화로 이어질 수 있기 때문입니다.

문제는 기존 평가가 정확도, 손실, 퍼플렉시티 같은 표면 지표에 머문다는 점입니다. 이 지표들은 원본과 양자화 모델이 개별 예시에서 같은 결정을 내리는지를 보지 않습니다. 정확도나 퍼플렉시티가 비슷해도, 두 모델이 맞히는 문제의 집합 자체는 크게 어긋나 있을 수 있습니다. 이 빈자리를 메우려고 저자들은 correctness agreement를 제안합니다.

어떻게 만들었나

correctness agreement는 결정 수준 지표입니다. 원본 모델과 양자화 모델이 같은 문제에서 둘 다 맞히는 비율을 절대 정확도와 무관하게 측정합니다. 예시 \(m\)에서 원본의 정답 여부를 \(z_m\), 양자화 모델의 정답 여부를 \(z_m^{(c)}\)라 두면, 설정 \(c\)에 대한 지표는 다음과 같이 정의됩니다.

\[\mathrm{CA}(c) = \frac{1}{M}\sum_{m=1}^{M}\mathbb{1}\left[z_m = 1 \,\wedge\, z_m^{(c)} = 1\right]\]

이 값은 \(0 \le \mathrm{CA}(c) \le \min\left(\mathrm{Acc}_{\text{base}}, \mathrm{Acc}_{\text{quant}}\right)\)의 범위에 놓입니다. 두 모델의 정확도가 아무리 높아도, 서로 다른 문제를 맞히면 이 값은 낮아집니다.

평가 대상은 네 모델입니다. Llama-3.2-3B, Vicuna-7B-v1.5, Mistral-7B-v0.1, Llama-3.1-8B입니다. \(\texttt{llama.cpp}\)의 두 양자화 계열을 씁니다. 레거시 방식(\(\texttt{Q8\_0}\), \(\texttt{Q5\_0}\), \(\texttt{Q4\_0}\))과 K-양자화(\(\texttt{Q6\_K}\)부터 \(\texttt{Q2\_K}\)까지)로, 8비트에서 2비트까지 전 구간을 훑습니다. 가중치 공간에서는 어텐션의 네 투영 \(Q, K, V, O\)마다 평균, 표준편차, 왜도, 첨도를 재고, 코사인 유사도와 유클리드 거리, KS 통계량, KL 발산으로 원본 대비 분포 이동을 측정합니다. 행동 쪽에서는 퍼플렉시티(WikiText-2, C4)와 다운스트림 정확도(HellaSwag, Winogrande, ARC), 그리고 correctness agreement를 봅니다. 실험은 NVIDIA Tesla V100 8장에서 돌렸습니다.

결과

먼저 퍼플렉시티가 믿을 만한 대리 지표가 아니라는 점이 드러납니다. 퍼플렉시티는 비트 폭에 따라 단조롭게 나빠지지 않고, 어떤 설정에서는 \(\texttt{Q3\_K}\)가 오히려 원본보다 낮은 퍼플렉시티를 내기도 합니다. 예를 들어 C4에서 Llama-3.2-3B는 원본 8.357에서 \(\texttt{Q3\_K}\)가 7.823으로 내려갑니다. 다만 이 현상은 모델과 데이터셋에 따라 달라져 일반화되지 않습니다. 퍼플렉시티가 좋아 보인다고 결정이 보존됐다고 볼 수 없다는 뜻입니다.

핵심은 correctness agreement입니다. Llama-3.2-3B를 양자화 단계별로 정리하면 다음과 같습니다.

정확도만 보면 \(\texttt{Q8\_0}\)의 53.4에서 \(\texttt{Q3\_K}\)의 51.5까지 완만하게 유지되는 것처럼 보입니다. 그런데 correctness agreement는 같은 구간에서 줄곧 40 언저리에 머뭅니다. 정확도보다 12점 안팎 낮습니다. 원본이 맞히던 문제 상당수가 양자화 뒤에는 틀린다는 뜻입니다. 총점이 비슷하니 같은 모델처럼 보이지만, 개별 결정에서는 다른 모델이 돼 있습니다. 네 모델 모두에서 이 값은 정확도보다 일관되게 낮고 정밀도가 낮아질수록 함께 떨어집니다. 다만 모델별 차이는 있어서 Mistral-7B는 \(\texttt{Q2\_K}\)에서도 47점대를 유지하며 가장 견고하고, Llama-3.2-3B가 가장 민감합니다.

가중치 통계는 이 행동 변화의 물리적 뿌리를 보여줍니다. 레거시 양자화는 왜도와 첨도, 평균, 표준편차가 원본과 거의 겹칠 만큼 왜곡이 작습니다. 중간 수준의 K-양자화(\(\texttt{Q6\_K}\)에서 \(\texttt{Q4\_K}\))도 분포를 잘 보존합니다. 그런데 공격적인 \(\texttt{Q3\_K}\)와 \(\texttt{Q2\_K}\)에서 상황이 꺾입니다. 왜도가 튀고 첨도가 무너지며 평균이 이동합니다. 저비트에서 성능이 선형으로 나빠지는 게 아니라 비선형적인 breakpoint가 있다는 것입니다.

어디가 취약한지도 균일하지 않습니다. 어텐션의 네 투영 중 쿼리 \(Q\)와 키 \(K\)가 가장 민감하고, 값 \(V\)와 출력 \(O\)는 상대적으로 안정적입니다. 위 그림은 K-양자화에서 레이어별 KL 발산을 그린 것으로, \(\texttt{Q3\_K}\)에서 \(K\)와 \(Q\)의 발산이 급등하는 반면 \(V\)와 \(O\)는 거의 0에 붙어 있습니다. 저자들은 이를 근거로 안전한 양자화의 상한을 \(\texttt{Q4\_K}\), 성능 저하가 시작되는 지점을 \(\texttt{Q3\_K}\), 붕괴 구간을 \(\texttt{Q2\_K}\)로 정리하고, \(K\)와 \(Q\)에 더 높은 정밀도를 배분하는 혼합 정밀도 전략을 제안합니다.

회고

이 연구가 딛고 선 범위를 짚어둘 필요가 있습니다.

첫째, 대상 모델이 3B에서 8B 규모입니다. 저자들 스스로 큰 모델이 더 견고하다고 관찰했으므로, 여기서 얻은 취약성 결론이 수십억을 훨씬 넘는 대형 모델에 그대로 옮겨가는지는 별개 문제입니다.

둘째, 양자화 방식이 \(\texttt{llama.cpp}\)의 레거시와 K-양자화로 한정됩니다. GPTQ나 AWQ 같은 보정 기반 방식은 다루지 않아, 결론이 이 두 계열의 특성과 얽혀 있을 여지가 있습니다.

셋째, correctness agreement는 정답 여부를 이진 라벨로 환원해 계산합니다. 다지선다 과제를 맞다 틀리다로 압축하므로, 틀린 방식의 질적 차이(살짝 빗나갔는지 완전히 어긋났는지)까지는 담지 못합니다.

여기에 더할 점이 있습니다. 이 논문의 결론은 대체로 진단입니다. 정확도와 퍼플렉시티가 불완전하니 행동 지표로 보완하자는 문제 제기가 중심이고, correctness agreement가 낮은 것을 실무에서 어느 선까지 허용해도 되는지에 대한 기준까지 제시하지는 않습니다. 초록에는 구체적 모델 목록도 나오지 않아 본문을 봐야 대상이 확인됩니다.

정리

• 양자화 모델을 정확도와 퍼플렉시티만으로 평가하면 원본과 등가로 보이지만, 실제로 맞히는 문제의 집합은 어긋나 있을 수 있습니다. correctness agreement가 그 어긋남을 드러냅니다.
• 가중치 통계로 보면 저하는 선형이 아니라 \(\texttt{Q3\_K}\) 부근에서 비선형으로 꺾이고, 어텐션의 \(Q\)와 \(K\) 투영이 \(V\), \(O\)보다 훨씬 취약합니다.
• 압축 모델을 배포하기 전, 총점만이 아니라 원본과의 결정 일치도를 함께 보고 저비트에서 안전 구간이 선형으로 이어진다고 가정하지 않는 편이 안전합니다.