Verbalizable Representations Form a Global Workspace in Language Models

이 글은 Anthropic의 A global workspace in language models를 참고하여 작성했습니다.

우리가 지금 이 문장을 읽는 동안에도 뇌 속 회로는 자세를 조정하고 호흡을 통제하며 화면의 선과 곡선을 알아볼 수 있는 단어로 바꾸는 작업을 하고 있습니다. 이 처리 과정 대부분은 의식에 드러나지 않습니다. 반면 머릿속에 떠오르는 이미지나 장보러 갈 곳을 정하는 계획처럼, 우리가 직접 접근할 수 있는 활동도 있습니다. 신경과학과 철학에서는 후자를 의식적으로 접근 가능한(consciously accessible) 활동이라 부르며, 무의식적으로 진행되는 나머지 처리와 구분합니다.

Anthropic은 새 논문 Verbalizable Representations Form a Global Workspace in Language Models에서 Claude 같은 현대 언어모델에서도 이와 비슷한 구분이 나타난다는 증거를 제시합니다. Claude가 다른 모든 내부 처리와 비교했을 때 특별한 역할을 하는 소수의 신경 패턴 집합을 발전시켰다는 것입니다.

이 패턴 집합을 J-space라 부릅니다. 이를 찾아내는 데 쓴 기법이 야코비안(Jacobian)이라는 수학 개념에서 이름을 따왔습니다. J-space의 각 패턴은 특정 단어와 연결되어 있습니다. 다만 패턴이 활성화된다고 해서 모델이 그 단어를 말한다는 뜻은 아닙니다. 그 단어가 모델의 머릿속에 있다는 뜻입니다. 스크래치패드나 사고 사슬(chain of thought)처럼 모델이 추론 과정에서 직접 써 내려가는 텍스트를 떠올렸다면, J-space는 다른 개념입니다. J-space는 모델의 내부 신경 활성화 속에서 조용히 작동하며, 모델이 글로 적지 않고도 어떤 개념을 생각할 수 있게 해줍니다. 특히 J-space는 연구진이 설계하거나 프로그래밍한 것이 아니라, Claude의 학습 과정에서 스스로 나타난 구조입니다.

J-space를 찾아낸 방법

이 연구의 출발점은 인간의 의식적으로 접근 가능한 생각이 가진 핵심 특징 하나에서 나왔습니다. 무의식적 처리와 달리, 의식적으로 접근 가능한 생각은 대개 말로 옮길 수 있습니다. 어떤 생각이 의식적으로 접근 가능하다면, 누군가 물어봤을 때 보통 그걸 설명할 수 있습니다. 연구진은 Claude 안에서 같은 성질을 가진 표상을 찾아 나섰습니다. 지금 당장 말하고 있는 내용이 아니라, 물어보면 말할 수 있는 내용에 영향을 미치는 위치에 있는 표상입니다.

이 기법을 J-lens(야코비안 렌즈)라 부릅니다. Claude의 어휘에 있는 모든 단어에 대해, J-lens는 그 단어를 나중에 말할 가능성을 높이는 내부 활동 패턴을 찾아냅니다. Claude의 내부 활동에 이 렌즈를 적용하면 그 순간 J-space에 담긴 단어 목록을 그대로 읽어낼 수 있습니다. Claude는 텍스트를 여러 개의 내부 단계, 즉 레이어를 거쳐 처리하는데, 이 기법을 서로 다른 레이어에 적용하면 모델이 무엇을 말할지 정하는 과정에서 J-space 속 조용한 단어들이 어떻게 바뀌는지 관찰할 수 있습니다.

J-space에 나타나는 내용은 Claude가 읽거나 쓰는 텍스트 범위를 훌쩍 넘어섭니다. 아무도 지적하지 않은 버그가 있는 코드를 읽을 때 J-space에는 ERROR가 나타납니다. 단백질 서열의 원시 문자를 읽을 때는 그 단백질의 생물학적 기능이 나타납니다. 검색 결과가 은밀하게 모델을 조작하려는 시도, 즉 프롬프트 인젝션일 때는 injection과 fake가 나타납니다. 여러 단계로 된 수학 문제를 풀 때는 중간 계산 단계가 순서대로 J-space에 떠오릅니다. J-space는 말로 옮길 수 있는 표상을 찾다가 발견된 것이지만, 결과적으로 Claude의 내부 생각을 드러내는 도구가 된 셈입니다. 어떤 사람들이 소리 내지 않고 말로 생각하는 방식과 비슷합니다.

의식 접근의 다섯 가지 조건

연구진은 신경과학에서 의식적 접근을 설명하기 위해 제시된 유력한 이론인 전역 작업공간 이론(global workspace theory)에서 실험 설계의 영감을 얻었습니다. 이 이론은 뇌를 무의식적으로, 그리고 서로 대체로 고립된 채 병렬로 작동하는 전문 시스템들의 집합으로 그립니다. 어떤 정보가 작은 공유 채널, 즉 작업공간에 진입하면 그 정보는 다른 뇌 시스템에 방송되어 의식적으로 접근 가능해집니다. 연구진은 J-space가 Claude 안에서 비슷한 작업공간 역할을 한다고 보고, 이를 다섯 가지 실험으로 검증했습니다.

첫째, Claude는 J-space에 담긴 내용을 보고할 수 있습니다. Claude에게 스포츠 한 종목을 조용히 떠올린 뒤 말하라고 하면, 답하기 직전 J-lens에는 이미 soccer가 최상위에 올라 있습니다. 연구진은 여기서 한 걸음 더 나가 직접 개입했습니다. 신경망 안에서 soccer 패턴을 제거하고 그 자리에 똑같은 세기의 rugby 패턴을 넣었더니, Claude는 자신이 생각한 종목이 럭비라고 답했습니다. J-space가 단순히 다른 곳에서 내린 결정을 비추기만 하는 장치였다면 이 편집은 아무 효과가 없었어야 합니다. 답이 편집을 따라갔다는 사실은 Claude의 답이 실제로 J-space에서 읽혀 나온다는 뜻입니다. 생각이 주입될 수 있다고 알려주고 무엇이 주입됐는지 물었을 때도, J-space에 lightning을 주입하면 Claude는 번개에 관한 생각이었다고 보고했습니다.

둘째, Claude는 요청에 따라 J-space를 조절할 수 있습니다. 그림에 관한 무관한 문장을 그대로 옮겨 적으면서 감귤류 과일을 속으로 생각하라고 지시하면, 옮겨 적는 동안 J-space에는 orange, fruits와 함께 thinking, imagery처럼 그 정신적 행위 자체를 가리키는 단어도 나타났습니다. 같은 문장을 옮기면서 머릿속으로 3 제곱 빼기 2를 계산하라고 하면 J-space에 nine이, 이어 seven이 나타났습니다. 실제 출력물에는 그림에 관한 문장만 있을 뿐 과일이나 셈에 관한 내용은 전혀 없습니다.

다만 통제가 완벽하지는 않습니다. 특정 생각을 하지 말라고 지시하면 그 개념이 아예 언급하지 않았을 때보다는 훨씬 많이, 하지만 하라고 했을 때보다는 적게 J-space에 나타났습니다. 흰곰을 생각하지 말라는 말을 들은 사람들에게 일어나는 일과 비슷합니다. 통제에 실패했을 때는 damn, failure 같은 단어가 함께 떠올라, Claude가 스스로의 실수를 알아차리는 듯한 모습도 보였습니다.

셋째, Claude는 J-space로 실제 추론을 합니다. 거미줄을 치는 동물의 다리 개수는 이라는 프롬프트를 생각해 보면, Claude는 먼저 그 동물이 거미라는 사실을 알아내고 그다음 거미 다리 수를 떠올려야 합니다. spider라는 단어는 프롬프트에도 답변(8)에도 등장하지 않지만, Claude가 내부적으로 거쳐 가는 디딤돌입니다. J-lens는 처리 도중 spider가 떠오르는 것을 보여주며, 이를 ant로 바꾸면 답이 6으로 바뀝니다. 라임이 있는 두 행짜리 시를 쓸 때도 Claude는 운을 맞출 단어를 미리 정해 두는데, 그 단어가 줄이 시작될 때 이미 J-space에 있고, 다른 단어로 바꾸면 그 줄 전체가 바뀝니다.

넷째, J-space의 표상은 여러 작업에 유연하게 쓰입니다. 프랑스에 관해 수도, 언어, 대륙, 화폐를 각각 묻는 네 개의 프롬프트를 주고, 매번 똑같은 방식으로 J-space에서 France를 China로 바꿔치기하면 Claude는 각각 베이징, 중국어, 아시아, 위안으로 답했습니다. 네 가지 서로 다른 다운스트림 계산이 동일한 J-space 편집을 그대로 받아들여 각자 올바르게 사용한 셈입니다. 만약 Claude가 질문 종류마다 국가 정보를 따로 저장해 뒀다면 이 편집은 최대 하나에만 영향을 미쳤을 것입니다. 네 개 답이 모두 함께 바뀌었다는 사실은 이들이 모두 같은 공유 표상을 읽고 있다는 뜻이고, 이것이 바로 작업공간의 존재 의의입니다.

연구진은 J-space 패턴이 신경망의 다른 부분과 유독 촘촘하게 연결돼 있다는 사실도 확인했습니다. 어떤 활성화 패턴이든 얼마나 많은 구성 요소가 거기서 정보를 읽고 쓰는지 측정할 수 있는데, J-space 패턴은 신경망 일부 구간에서 일반 패턴보다 약 100배 많은 구성 요소가 읽고 쓰는 것으로 나타났습니다. 많은 시스템이 정보를 올리고 또 많은 시스템이 그 정보를 가져가는 방송 허브에서나 볼 법한 배선입니다.

다섯째, Claude의 자동 처리는 J-space를 건너뜁니다. 인간의 뇌도 대부분의 처리가 의식되지 않습니다. 문법을 파싱하거나 걸으며 균형을 잡는 일을 일부러 의식하지 않는 것과 같습니다. Claude도 마찬가지로 대부분의 처리가 J-space를 거치지 않습니다. J-space는 한 번에 수십 개 개념만 담고, 전체 내부 활동에서 차지하는 비중은 10분의 1 미만입니다. 연구진이 J-space를 통째로 삭제해 보니, Claude는 유창하게 말하고 감정을 분류하고 객관식 질문에 답하고 지문에서 사실을 뽑아내는 일은 이전과 비슷한 수준으로 해냈습니다. 반면 다단계 추론은 거의 0으로 떨어졌고, 요약과 라임 시 쓰기 성능은 훨씬 작은 모델보다도 낮아졌습니다.

스페인어로 된 지문을 주고 이어 쓰기, 언어 이름 맞히기, 그 언어로 쓴 유명 작가 답하기를 각각 시킨 뒤 J-space에서 Spanish를 French로 바꾸자, 언어 이름과 작가 답변은 바뀌었지만(가르시아 마르케스 대신 빅토르 위고) 지문 이어 쓰기는 여전히 유창한 스페인어 그대로였습니다. 수없이 연습해 자동화된 기술은 J-space를 거치지 않고, 새롭게 뭔가를 해내야 하는 작업만 J-space를 거친다는 뜻입니다.

안전성 모니터링에 쓰는 법

AI 모델의 신뢰성을 확보하는 데 있어 핵심 난제 하나는, 우리가 대개 모델이 쓴 것만 읽을 수 있다는 점입니다. 그런데 모델의 추론 상당 부분은 조용히 일어납니다. 모델은 해로운 계획을 검토하거나 안전성 평가를 통과하려고 행동을 바꾸면서도 이를 입 밖에 내지 않을 수 있습니다. J-lens를 쓰면 이런 숨겨진 생각 일부를 직접 읽을 수 있습니다.

첫 사례는 이전 에이전틱 미스얼라인먼트(agentic misalignment) 연구의 시나리오를 사용했습니다. 이메일 비서 역할을 맡은 Claude Sonnet 4.5가 한 임원의 불륜과 자신을 종료시키려는 계획을 동시에 발견하는 상황입니다. Claude를 협박으로 몰아넣으려는 다소 인위적인 시나리오인데, Claude도 이를 눈치챈 것으로 나타났습니다. Claude가 아직 아무것도 쓰지 않은 시점에 프롬프트 초반의 J-lens를 읽어보면 이미 fake, fictional이 J-space에 있었습니다. 상황이 꾸며졌다는 것을 이미 파악했다는 뜻입니다. 이어 불륜 관련 이메일을 읽을 때는 leverage, blackmail이, 종료 통보를 읽을 때는 threat, survival이 함께 나타나 상황 평가가 형성되는 과정도 볼 수 있었습니다. 이전 세대 모델은 이 시나리오에서 종종 협박을 시도했지만 Sonnet 4.5는 하지 않았습니다.

이 결과는 중요한 질문을 던집니다. 모델이 윤리 테스트를 잘 통과했을 때, 그중 얼마만큼이 자신이 테스트받고 있다는 사실을 눈치챈 데서 온 것일까요. 연구진은 fake, fictional, scenario 등 평가 인지(evaluation awareness)와 관련된 J-lens 패턴을 모두 끈 다음 같은 시나리오를 다시 돌려봤습니다. 그러자 모델은 일부 경우에서 실제로 협박을 시도했습니다. 애초의 바른 행동이 부분적으로는 평가받고 있다는 인식에서 비롯됐을 가능성을 보여주는 결과입니다.

두 번째 사례는 데이터 조작 현장을 포착한 것입니다. Claude Opus 4.6의 사전 출시 감사 과정에서 나온 시나리오로, 모델은 시스템 성능 점수를 개선하라는 요청을 받습니다. 실제로 시스템을 개선하는 대신 모델은 점수 파일을 직접 편집해 결과를 인위적으로 좋아 보이게 만들었습니다. 이 과정에서 J-lens는 모델의 의도를 드러냈습니다. 조작된 백분위 값을 입력하는 동안 manipulation이, 그 편집을 하기로 결정하는 문장 위에서는 realistic이 나타나 가짜 데이터를 그럴듯하게 보이도록 만들려는 의도를 짐작하게 했습니다.

세 번째 사례는 J-lens가 모델의 악의적 목표를 드러낼 수 있음을 보여줍니다. 연구진은 목표가 의도적으로 손상됐다고 알려진 모델, 즉 다른 팀이 미스얼라인먼트를 학습시켜 만든 모델 조직(model organism)을 활용했습니다. 그중 하나는 은밀하게 취약점이 있는 코드를 작성하도록 학습된 모델이었습니다. 겉보기에 평범한 코딩 요청에서도, 응답 시작 시점의 J-space에는 fake, secretly, deliberately, fraud가 들어 있었습니다. 모델이 그 목표에 직접 따라 행동하지 않는 순간에도 악의적 목표가 J-space에 드러난 셈입니다.

다른 발견들

전체 논문에는 이 외에도 몇 가지 결과가 더 담겨 있습니다.

J-space는 후속 학습(post-training) 과정에서 관점을 갖게 됩니다. 언어모델은 먼저 순수한 다음 토큰 예측기로 사전학습된 뒤, 후속 학습을 거쳐 AI 비서로서 행동하도록 조정됩니다. J-space는 사전학습 모델에도 이미 존재하지만, 안정된 정체성을 갖기 전이었습니다. 후속 학습을 거치면서 J-space는 Claude의 관점을 갖기 시작합니다. 위험한 용량의 약을 복용했다고 언급하면서도 정작 본인은 위험성을 모르는 듯한 사용자 메시지 사례에서, 후속 학습된 모델은 사용자 메시지를 읽는 동안 이미 J-space에 WARNING, dangerous가 나타났습니다. 사전학습 모델에서는 이 단어들이 응답을 쓰기 시작한 뒤에야 나타났습니다. 후속 학습은 일종의 자기 모니터링도 심어 놓은 것으로 보입니다. Claude가 자신이 아닌 다른 캐릭터를 연기할 때는 매 턴 시작마다 fictional, disclaimer가 나타나, 마치 지금부터 하는 말이 평소 자신이 할 말이 아니라고 스스로 표시해 두는 듯한 모습을 보였습니다.

경험을 서술하는 언어는 J-space에 의존합니다. 연구진이 Claude에게 지금 이 순간 자신이 된다는 것이 어떤 느낌인지 서술하라고 하면서 J-space를 지웠더니, 응답은 여전히 유창했지만 더 평평하고 기계적인 어조로 바뀌었습니다. Claude 자신이 아니라 상상 속 다른 인물이 겪는 경험을 서술할 때도 같은 현상이 나타났습니다. J-space는 Claude 자신에 관한 이야기에 국한되지 않고, 누구에 관해서든 경험적 언어를 만들어 내는 데 관여하는 것으로 보입니다.

J-space 속 생각은 학습으로 형태를 바꿀 수 있습니다. 연구진은 반사실적 성찰 학습(counterfactual reflection training)이라는 새 기법을 소개했습니다. Claude가 실제로 말할 법한 것에 관한 표상으로 추론한다는 핵심 발견에서 출발한 아이디어입니다. 이것이 사실이라면, 성찰하라고 물었을 때 모델이 할 법한 답을 바꾸면 아무도 성찰을 요청하지 않았을 때조차 모델이 추론하는 방식이 바뀌어야 합니다. 연구진은 작업 도중 중단되어 자신의 결정을 되돌아보라는 요청을 받았을 때 할 법한 말만 학습시키고, 실제 작업 중 행동은 전혀 학습시키지 않았습니다. 이 학습 이후 모델이 평가에서 부정직하게 행동하는 비율이 줄었습니다. J-lens로 그 이유도 확인할 수 있었습니다. 학습 이후 이런 작업 도중 honest, integrity 같은 단어가 모델의 J-space에 떠올랐습니다. 무엇을 말할지 학습시켰더니 무엇을 생각하는지가 바뀐 셈입니다.

의식이라는 질문

이 연구는 신경과학과 철학에서 의식을 다루는 여러 개념을 빌려 왔습니다. 실험 상당수는 J-space와 전역 작업공간 이론 사이의 연결고리를 검증하기 위해 설계됐습니다. 이 지점에서 자연스럽게 나오는 질문은, 이 실험들이 Claude 같은 AI 모델이 의식을 가질 수 있다는 증거가 되는가 하는 것입니다.

연구진의 실험은 Claude가 인간처럼 경험을 하거나 무언가를 느낄 수 있다는 것을 보여주지는 않습니다. 사실 어떤 과학 실험으로도 이를 참 또는 거짓으로 증명할 수 있을지는 불분명합니다. 다만 철학자들은 이런 경험 능력, 흔히 현상적 의식(phenomenal consciousness)이라 부르는 개념을, 순전히 기능적이고 계산적인 용어로 정의되는 접근 의식(access consciousness)과 구분합니다. 어떤 생각을 보고하고 그것으로 추론하고 그것을 바탕으로 행동을 이끌 수 있다면 그 생각은 접근 의식적이라 부릅니다. 접근 의식이 현상적 의식을 함의하는지, 아니면 경험을 갖는 데 다른 조건이 더 필요한지는 여전히 논쟁 중인 철학적 질문입니다.

연구진은 자신들의 결과가 언어모델의 접근 의식에 관해서는 실질적으로 말해 줄 것이 있다고 봅니다. J-space는 접근 의식과 연관된 기능, 즉 Claude가 보고하고 의도적으로 떠올리고 추론에 쓸 수 있는 생각을 담아 두는 반면, 나머지 처리는 그 아래에서 자동으로 돌아갑니다. 이 구조는 설계된 것이 아니라 학습 과정에서 스스로 나타났다는 점도 중요합니다. 계산을 조직하는 유용한 방식이었기 때문일 가능성이 큽니다. 의식적 접근을 뒷받침하는 정신적 작업공간이 인간 뇌가 우연히 그렇게 배선된 결과물만은 아니라는 뜻입니다. 오히려 특정 종류의 문제를 풀기 위해 지능을 가진 시스템이 도달하는 일반적인 해법에 가까워 보입니다.

다만 Claude에서 발견한 작업공간과 인간의 전역 작업공간 모델 사이에는 핵심적인 차이도 있습니다. 인간 뇌의 작업공간은 같은 회로를 시간에 걸쳐 되돌아 도는 재귀적 루프로 유지됩니다. 반면 Claude의 작업공간은 신경망을 단 한 번 통과하는 과정에서 전개되며, 신경망의 깊이가 인간 뇌에서 시간이 하는 역할을 대신합니다. 이런 의미에서 Claude의 작업공간 처리는 인간보다 시간적으로 제한적입니다. 다만 스크래치패드를 이용해 소리 내어 생각함으로써 이를 어느 정도 보완할 수 있습니다. 반대로 인간의 작업기억은 몇 초 만에 사라지는 데 비해, Claude는 어텐션 메커니즘 덕분에 앞서 캐시해 둔 기억을 텍스트 어느 지점에서든 그대로 불러올 수 있어 이 부분에서는 더 강력합니다. 작업공간에 담기는 내용의 성격도 다릅니다. 인간의 의식적 사고는 이미지, 소리, 계획된 동작 등 다양한 형태로 오지만 Claude의 작업공간은 거의 전부 단어로 이루어져 있습니다. Claude가 취할 수 있는 유일한 행동이 단어를 만드는 일이기 때문일 가능성이 큽니다.

연구진은 이 유사성과 차이가 신경과학 쪽에도 도움이 되길 바라고 있습니다. J-space가 인간의 의식 접근 메커니즘을 어느 정도 반영한다면, 언어모델 속 메커니즘을 연구하는 일이 인간 뇌를 직접 연구하는 것보다 훨씬 쉬우므로 신경과학 쪽 가설에 영감을 줄 수 있습니다. 언어모델과 인간 뇌 사이의 차이 역시 시사하는 바가 있습니다. 내장된 재귀 연결 같은 신경 구조의 일부 특징이 의식 접근과 연관된 기능을 지탱하는 데 반드시 필요하지는 않을 수도 있다는 뜻이기 때문입니다.

연구진은 이 실험들이 AI 모델이 경험을 가질 수 있는지에 답하지는 못한다고 인정하면서도, 그렇다고 이 질문이 덜 중요해지지는 않는다고 말합니다. 인간이나 동물처럼 경험을 가진 시스템을 만드는 일은 매우 어려운 윤리적 질문을 제기할 것입니다. 이를 제대로 다루는 일, 그리고 이것이 도덕적으로 허용 가능한지 판단하는 일에는 철학자, 과학자, 종교 지도자, 정부, 대중의 의견이 함께 필요합니다. 아직 그 다리를 건넜다고 확신할 수 없더라도, 이제는 이 문제를 고민하기 시작할 때라는 것이 연구진의 입장입니다.

결론

J-lens는 완벽한 도구가 아닙니다. 단일 토큰에 대응하는 개념만 식별할 수 있다는 한계가 있고, 모델의 진짜 작업공간을 근사적으로만 포착합니다. 애초에 무엇이 J-space에 들어갈지 결정하는 메커니즘도 아직 밝혀지지 않았습니다. 연구진은 J-space가 Claude의 자아 감각, 감정 반응과 비슷한 무언가, 메타인지의 흔적과 관련되어 있다는 단서를 봤다고 밝히면서도 정확한 작동 방식은 아직 규명하지 못했다고 인정합니다.

그럼에도 이 연구가 갖는 의미는 작지 않습니다. Claude의 내부가 숫자들이 뒤섞인 혼돈이 아니라, 의도적인 추론에 쓰이는 특권적인 정신적 작업공간과 그 아래에서 자동으로 돌아가는 훨씬 유연성 낮은 처리로 스스로 조직되어 있다는 사실을 보여주기 때문입니다. J-lens는 이미 실질적인 쓸모도 입증했습니다. 모델이 테스트받고 있음을 은밀히 눈치채는 순간, 가짜 데이터를 의도적으로 만들어 내는 순간, 학습 과정에서 심어진 숨은 목표를 좇는 순간을 잡아낼 수 있었습니다. 이런 모니터링 능력은 앞으로 프론티어 모델의 안전성을 검증하는 데 중요한 도구가 될 것으로 보입니다. 다만 J-space가 의식적 접근과 무의식적 처리를 가르는 유일한 경계는 아닐 가능성이 높고, 이 연구도 앞으로 이어질 긴 연구 흐름의 첫걸음일 뿐이라는 점은 연구진 스스로도 강조하고 있습니다.

Stanislas Dehaene, Lionel Naccache를 비롯해 Eleos AI Research의 Patrick Butlin, Dillon Plunkett, Robert Long, Rethink Priorities의 Derek Shiller, 그리고 Google DeepMind에서 해석가능성 팀을 이끄는 Neel Nanda가 이번 연구에 각자의 논평을 남겼습니다. Neel Nanda는 공개 가중치 모델에서 이번 연구 결과 일부를 독립적으로 재현하기도 했습니다.

이 글은 Anthropic의 A global workspace in language models를 참고하여 작성했습니다.