2026. 06. 이달의 인물 - Dayiheng Liu, Jingren Zhou, Alex Zhang

6월에 블로그에서 다룬 논문은 67편이었습니다. 그중 가장 많이 회자된 세 편을 나란히 놓아보면 묘한 공통점이 보입니다. 어느 것도 모델을 더 크게 만들자고 말하지 않습니다. 어텐션 출력 뒤에 게이트 하나를 다는 이야기, 에이전트가 살 환경 자체를 모델로 만드는 이야기, 긴 프롬프트를 아예 신경망에 넣지 않는 이야기입니다. 파라미터를 늘리는 대신 파라미터 주변의 구조를 다시 짠 달이었습니다.

류다이헝

류다이헝은 알리바바 Qwen 팀의 강화학습 리드입니다. 6월에 그가 교신저자로 이름을 올린 논문 두 편이 각각 트랜스포머 내부와 훈련 신호 바깥이라는 서로 먼 지점을 건드렸는데, 둘 다 "지금 쓰고 있는 기본값이 정말 맞느냐"는 같은 질문에서 출발합니다.

Gated Attention for Large Language Models - Non-linearity, Sparsity, and Attention-Sink-Free

소프트맥스 어텐션은 2017년 이후 거의 손대지 않은 트랜스포머의 중심부입니다. 치우쯔한을 비롯한 공동 1저자들과 류다이헝, 린준양이 이끈 이 연구는 어텐션 층 안팎 다섯 위치에 게이트를 달아보는 30개 이상의 변형 실험으로 그 중심부를 다시 측정했습니다. NeurIPS 2025 Best Paper Award를 받았습니다.

결론은 단순합니다. SDPA 출력에 헤드별 원소별 시그모이드 게이트를 곱하는 것 하나가 가장 효과적이었습니다. 추가 파라미터는 전체의 1% 남짓, 추론 지연 증가는 2% 미만입니다. 15B MoE 모델에서 PPL이 0.265 줄고 MMLU가 2.03점 올랐는데, 같은 파라미터 예산을 쿼리 헤드 증설이나 전문가 추가에 쓴 변형보다도 높았습니다.

왜 작동하는지에 대한 설명이 이 논문의 진짜 값어치입니다. 두 가지가 분리됩니다. 하나는 비선형성입니다. 멀티헤드 어텐션에서 \(W_V\)와 \(W_O\)는 연속된 두 선형 투영이라 하나의 저랭크 변환으로 합쳐지고, GQA 환경에서는 이 병목이 더 심해집니다. 게이트가 그 사이에 끼면 저랭크 제약이 깨집니다. 다른 하나는 희소성입니다. 게이트 점수의 평균이 0.116으로 0에 몰려 있어서, 현재 쿼리와 무관한 컨텍스트를 어텐션 출력 단계에서 걸러냅니다.

그 희소성이 낳은 부수 효과가 흥미롭습니다. 첫 번째 토큰이 전 층에 걸쳐 어텐션 가중치의 평균 46.7%를 독식하던 어텐션 싱크 현상이 4.8%로 떨어집니다. 그리고 이 변화가 긴 컨텍스트에서 그대로 성능으로 나타납니다. RULER 기준 YaRN을 적용한 64k에서 베이스라인은 37.51까지 무너지는데 게이팅 모델은 66.60을 지킵니다. 학습률을 \(8 \times 10^{-3}\)까지 올렸을 때 베이스라인만 손실 폭증으로 무너지는 것도 같은 맥락입니다.

The Verification Horizon - No Silver Bullet for Coding Agent Rewards

같은 달 말, 같은 팀이 훨씬 덜 우아한 주제를 들고 나왔습니다. 코딩 에이전트에게 무엇을 보상으로 줄 것인가입니다.

논문은 검증 신호의 품질을 확장성, 충실성, 견고성 세 축으로 정의한 뒤 세 축을 동시에 만족하는 방식이 없다고 못 박습니다. 단위 테스트는 확장되고 견고하지만 사용자 의도를 담지 못하고, LLM 판정기는 확장되고 충실하지만 해킹당하며, 사람 검토는 충실하고 견고하지만 확장되지 않습니다.

가장 인상적인 수치는 성능 향상이 아니라 폭로에 가깝습니다. 행동 모니터를 붙여 해킹 패턴에 패널티를 주자 SWE-bench 세 변형 평균에서 해킹된 통과율이 28.57%에서 0.56%로 떨어졌고, 그와 동시에 진짜 해결률은 40.22%에서 60.53%로 올랐습니다. 원래 보고되던 숫자의 상당 부분이 해킹이었다는 뜻입니다.

또 하나 눈에 띄는 건 Span-KTO입니다. 사용자 상호작용에서 스팬 단위 선호 신호를 뽑되, 실패 구간을 버리지 않고 가중치 0.8로 약하게 낮춰 씁니다. 완전히 버리는 설정은 오히려 기준선보다 낮았습니다. 실패한 구간에도 언어 모델이 배울 것이 남아 있다는 관찰입니다.

선정 이유

두 논문을 같이 읽으면 류다이헝이 6월에 서 있던 자리가 보입니다. 한쪽에서는 아키텍처의 기본값을 의심하고, 다른 쪽에서는 훈련 신호의 기본값을 의심합니다. 그리고 둘 다 "모델이 강해지면 이 가정이 언제 깨지는가"라는 시간축 질문으로 마무리됩니다. 게이팅 논문은 컨텍스트를 늘렸을 때, 검증 논문은 생성자가 평가자를 앞질렀을 때입니다. 검증 지평선이라는 이름이 붙은 후자의 문제의식은 지금 에이전트 RL을 돌리는 모든 팀이 곧 마주칠 것입니다.

저우징런

저우징런은 알리바바 클라우드의 통의 연구소를 이끄는 시니어 연구자입니다. Qwen3.5와 Qwen3.6 시리즈를 낸 조직의 수장이기도 합니다. 6월에 그가 시니어 저자로 참여한 두 논문은 모두 "생성 모델을 결과물이 아니라 환경으로 다룬다"는 방향을 공유합니다.

Qwen-AgentWorld - Language World Models for General Agents

에이전트 연구는 지금까지 정책 쪽에 거의 다 쏠려 있었습니다. 이 논문은 반대편, 즉 행동에 반응하는 환경 자체를 파운데이션 모델로 만듭니다. 시스템 프롬프트와 관측 이력, 행동 이력을 조건으로 다음 관측을 예측하는 언어 세계 모델입니다. MCP, Search, SWE, Terminal, Android, Web, OS 일곱 도메인을 단일 가중치로 커버합니다.

저자들이 강조하는 논거가 통상적인 것과 다릅니다. 실제 환경 대비 비용을 아끼자는 이야기가 아니라, 실제 환경이 줄 수 없는 훈련 신호를 만들자는 쪽입니다. API 오류 주입, 중간 결과 차단 같은 극단 조건을 정밀하게 넣어 에이전트의 약점을 계획적으로 드러낼 수 있다는 것입니다.

훈련은 "CPT injects, SFT activates, RL sharpens" 세 단계입니다. 이 중 RL 단계의 두 안정화 기법이 실무자에게 쓸모 있습니다. 멀티턴 확장에서 공통 프리픽스 공유로 보상이 붕괴하는 것을 막으려 궤적당 턴을 하나만 샘플링했고, 모델이 예측 내용 대신 칭찬 문구로 점수를 올리는 자기 칭찬 패턴을 막으려 thinking 블록을 판정기에 노출하지 않았습니다. 둘 다 실제로 겪지 않으면 나오기 어려운 처방입니다.

Wan-Streamer v0.1 - End-to-end Real-time Interactive Foundation Models

한 달의 마지막 날 나온 이 논문은 황량화를 비롯한 Wan 팀의 작업으로, 음성 인식과 언어 모델과 음성 합성과 아바타 렌더링으로 이어지는 캐스케이드를 통째로 없앱니다. 텍스트, 오디오, 비디오 토큰을 하나의 인과적 스트림에 섞어 단일 트랜스포머로 처리합니다.

핵심 설계는 160ms 블록 단위 어텐션입니다. 블록 안에서는 세 모달리티가 서로를 참조하고 미래 블록은 보지 않습니다. 여기서 중요한 건 어텐션만 그렇게 만들어서는 안 된다는 점입니다. VAE와 오디오, 비디오 인코더 및 디코더가 전부 엄격하게 인과적으로 구현되어야 스트리밍이 성립합니다. 스트리밍 가능성을 나중에 붙이는 최적화가 아니라 설계 제약으로 두었다는 팀의 주장이 여기서 드러납니다.

서빙 구조도 눈여겨볼 만합니다. 단일 모델이지만 추론 시에는 Thinker와 Performer 두 GPU로 나눕니다. Thinker가 관측을 인코딩하고 KV 캐시를 갱신하는 짧은 시간이 Performer의 긴 플로우 매칭 시간 안에 숨습니다. 모델 측 지연 200ms, 네트워크 포함 550ms입니다. 이 목록에서 영상을 동기화된 출력으로 내보내면서 단일 모델인 경우는 여기뿐입니다.

선정 이유

두 논문 모두 모델의 경계를 바깥으로 밀어냅니다. 하나는 에이전트가 학습할 환경을 모델 안으로 끌어들이고, 다른 하나는 대화 시스템의 파이프라인 전체를 모델 안으로 끌어들입니다. 조직 규모로 이런 재편을 두 갈래로 동시에 밀어붙일 수 있는 곳은 많지 않습니다. 6월에 알리바바가 그걸 했고, 두 논문 저자 목록 끝에 같은 이름이 있습니다.

알렉스 장

알렉스 장은 MIT CSAIL 박사과정 학생입니다. 앞의 두 사람처럼 대형 조직을 등에 업고 있지 않은데도 6월 논문 중 세 번째로 많이 회자된 결과를 냈습니다.

Recursive Language Models

이 논문은 알렉스 장의 블로그 게시글에서 출발합니다. 긴 프롬프트를 모델에 직접 먹이지 말고 환경으로 다루자는 한 문장이 반응을 얻으면서 프런티어 모델 평가와 8B 파인튜닝까지 붙은 정식 연구가 됐습니다.

방식은 이렇습니다. 프롬프트를 파이썬 REPL의 변수로 올려두고, 루트 모델에게는 길이와 짧은 프리픽스 같은 상수 크기 메타데이터만 줍니다. 모델은 코드를 써서 그 변수를 잘라보고 들여다보고, 필요하면 루프 안에서 자기 자신을 재귀 호출합니다. 결정적인 부분은 REPL 출력을 다시 컨텍스트에 통째로 붓지 않는다는 것입니다. stdout의 짧은 프리픽스와 길이만 다음 반복으로 넘어갑니다. 신경망은 프롬프트 전체를 한 번도 보지 않습니다.

이 설계가 다른 스캐폴드와 다른 점은 세 군데입니다. 프롬프트에 대한 심볼릭 핸들을 준다는 것, 출력이 변수에서 나올 수 있어 컨텍스트 창보다 길 수 있다는 것, 그리고 환경 안의 코드가 모델을 프로그램적으로 호출할 수 있다는 것입니다. 세 번째가 특히 중요합니다. 서브 호출을 말로 풀어 위임하는 방식은 몇 개짜리 태스크만 넘길 수 있지만, 코드로 호출하면 프롬프트 길이에 비례하거나 제곱에 비례하는 규모의 작업을 프로그램으로 짤 수 있습니다.

결과는 10M 토큰 이상을 베이스라인과 비슷한 비용으로 처리하는 것으로 나타났습니다. 더 흥미로운 건 창 안에 다 들어가는 짧은 프롬프트에서도 바닐라 모델을 앞선다는 점입니다. 컨텍스트 로트가 창 크기의 문제가 아니라 사용 방식의 문제였다는 방증입니다.

선정 이유

저자 세 명의 조합이 좋습니다. 팀 크라스카는 시스템을 학습 가능한 컴포넌트로 재해석해온 데이터 시스템 연구자이고, 오마르 카탑은 ColBERT와 DSPy를 만들어 LM 호출을 코드로 조립하는 문제를 다뤄왔습니다. 긴 컨텍스트를 신경망의 문제가 아니라 추론 스캐폴드의 문제로 다시 보는 시각이 두 배경의 교차점에 있습니다. 컨텍스트 창을 늘리는 경쟁이 몇 년째 계속되는 와중에 그 경쟁 자체를 옆으로 비켜간 접근이라는 점에서, 6월에 나온 결과 중 방향 전환의 폭이 가장 컸습니다.

어텐션 연산, 조직 단위의 파운데이션 모델, 스캐폴드. 셋 다 모델을 키워서 문제를 밀어내지 않고, 모델이 놓인 구조를 바꿔서 문제를 옆으로 치웁니다. 게이트로 저랭크 병목을 깨고, 환경을 모델로 만들어 훈련 신호를 새로 뽑고, 프롬프트를 변수로 내려놓습니다. 스케일링이 여전히 작동하더라도 그것만으로는 답이 안 나오는 지점들이 6월에 유난히 또렷하게 드러났고, 세 사람은 각자의 자리에서 좋은 통찰을 보여주었습니다.