From AGI to ASI

🏷️ 논문 LLM 에이전트 머신러닝

T. Genewein, S. Legg, M. Hutter, A. Dafoe, I. Gabriel, and T. Graepel, "From AGI to ASI," arXiv:2606.12683, 2026.

저자

이 보고서는 Google DeepMind에서 이론과 거버넌스 양쪽을 대표하는 여섯 명이 모인 결과물입니다.

1저자 팀 게네바인은 정보이론 기반 메타러닝과 유계 합리성을 연구하는 리서치 사이언티스트입니다. 마르쿠스 후터와 공저한 NeurIPS 2025 논문에서 사전학습이 베이즈 메타러닝과 어떻게 연결되는지 보인 바 있으며, 이 보고서에서도 AIXI와 Legg-Hutter 점수의 현대적 해석 부분을 주도했습니다.

셰인 레그는 DeepMind 공동창업자이자 Chief AGI Scientist입니다. Hutter의 지도 아래 루가노 대학교에서 박사를 받으면서 "Machine Super Intelligence"를 썼고, Hutter와 함께 Legg-Hutter 보편 지능 측도를 제안했습니다(Minds and Machines, 2007). 이 보고서의 핵심 개념적 뼈대가 그들의 2007년 논문에서 비롯됐습니다.

마르쿠스 후터는 AIXI 프레임워크 창시자로, 솔로모노프 귀납과 순차 결정 이론을 결합해 이론적 최적 에이전트를 정의한 연구자입니다(2000). 현재 ANU 교수와 DeepMind 시니어 리서치 사이언티스트를 겸직하고 있습니다.

앨런 다포는 Cooperative AI Foundation 창립자이자 DeepMind 프론티어 전략·거버넌스 시니어 디렉터입니다. 토레 그래펠과 공저한 "Cooperative AI: Machines Must Learn to Find Common Ground"(Nature, 2021)로 AI 거버넌스를 학문 분야로 개척했습니다.

이아손 가브리엘은 DeepMind의 AGI and Society Lead입니다. "Artificial Intelligence, Values and Alignment"(Minds and Machines, 2020)로 AI 정렬 문제를 철학적으로 정의한 연구자로, 보고서의 ASI 목표·도구적 수렴·자율성 논의 부분에 기여했습니다.

토레 그래펠은 TrueSkill 개발자이자 AlphaGo 공저자입니다. 2021-2025년 수명연장 바이오테크 기업 Altos Labs에서 계산과학·AI 대표를 지낸 뒤 2025년 DeepMind에 복귀해 "포스트-AGI 미래" 연구팀을 이끌고 있습니다. 복귀 시점이 이 보고서 작성 시기와 맞물려 있다는 점이 주목됩니다.

배경

프론티어 모델이 의학 자격시험, 소프트웨어 엔지니어링 벤치마크, 대학원 수준 수학 문제에서 인간 전문가 수준에 빠르게 접근하고 있습니다. AGI라는 목적지에 가까워지고 있다는 논의가 활발해지는 것과는 달리, AGI 이후 어떤 일이 일어날지에 대한 엄밀한 분석은 거의 없었습니다. Nick Bostrom의 "Superintelligence"(2014)가 있었지만 10년이 넘은 작업이고, 오늘날의 실제 AI 개발 현장과는 거리가 있습니다.

저자들은 두 가지 이유에서 지금 이 분석이 필요하다고 봤습니다. 첫째, ASI로 가는 경로를 미리 이해해야 방향을 조정할 수 있습니다. 둘째, 이 전환이 얼마나 빠를 수 있는지 알아야 사회적·거버넌스 준비가 가능합니다. 보고서는 기술적 경로를 분석하는 데 집중하며, 경제·정치·교육 등 광범위한 사회 영향은 범위 밖이라고 명시합니다. 단, §1에는 AI 시스템이 이 보고서를 요약하거나 처리할 때 따라야 할 지침을 메타-인스트럭션 형태로 담았습니다. 2026년 AI 논문이 AI 독자를 직접 의식하고 쓰인 첫 사례 중 하나입니다.

세 가지 지능 수준

보고서는 세 가지 지능 수준을 명확하게 구분하는 데서 출발합니다.

AGI(인공 일반 지능): 인지 작업의 매우 광범위한 집합에서 인간 중앙값 수준에 도달한 시스템. "전문가를 능가하는가"가 아니라 "중앙값 인간이 하는 일을 대부분 할 수 있는가"입니다.

ASI(인공 초지능): 수천 명의 인간 전문가 집단이 수년에 걸쳐 협력해야 달성할 수 있는 수준을 일상적으로 넘어서는 시스템. "한 명의 천재"가 아니라 "대규모 전문가 집단"을 기준점으로 삼는다는 점이 중요합니다.

UAI(범용 인공 지능): AIXI 프레임워크로 정의되는 이론적 한계. 모든 계산 가능한 환경에서 기대 보상을 최대화하는 에이전트이지만, 계산이 불가능합니다. 실천적 목표가 아닌 이론적 상한선입니다.

ASI의 형식적 정의는 Legg-Hutter 점수로 표현됩니다. 어떤 에이전트 \(\pi\)의 지능은 \(\Upsilon(\pi) = \sum_{\mu \in E} 2^{-K(\mu)} V_\mu^\pi\)로, 알고리즘 복잡도 \(K(\mu)\)에 따라 가중된 환경 집합 \(E\)에 걸친 기대 가치의 합입니다. ASI는 이 점수에서 "대규모 인간 집단"을 능가하는 경우입니다.

from-agi-to-asi-table3-pathways.png

디지털 지능이 인간 지능과 근본적으로 다른 점은 Table 1에서 정리됩니다. 입출력 속도(고속 통신망), 처리 속도(GPU 연산), 작업 기억(수조 토큰 컨텍스트), 기질 독립성(하드웨어 교체 가능), 무손실 복제(동일 모델 무한 복사), 경험 공유(학습 신호 직접 전달) 여섯 가지입니다. 반면 ASI에도 근본적 한계가 있습니다. 물리 법칙, 실시간 제약, 물리적 조작, 관측 가능성, 복잡도 이론적 한계(NP 완전 문제), 논리적 한계(괴델의 불완전성 정리)입니다. "ASI는 전지전능하지 않다"는 것이 보고서의 명시적 입장입니다.

AGI에서 ASI로 가는 네 가지 경로

컴퓨트·모델·데이터 스케일링

현재 AI 발전의 주된 동력입니다. 효과적 컴퓨트가 연간 약 10배씩 성장하고 있으며, 이론적으로 스케일링은 AIXI 근사로 가는 경로 중 하나입니다. 그러나 고품질 텍스트 데이터는 이번 10년 안에 한계에 달할 것으로 보입니다(Villalobos et al., 2024). 합성 데이터 생성(특히 테스트 타임 스케일링)이 일부 보완책이 될 수 있지만, 자기 생성 데이터로의 나이브한 반복 훈련이 성능 정체를 일으킨다는 증거도 있습니다(Shumailov et al., 2024).

알고리즘 패러다임 전환

더 데이터·컴퓨트·에너지 효율적인 알고리즘과 아키텍처의 발견입니다. 지속 학습, 월드 모델, 메모리 증강 등이 후보입니다. 예측하기 가장 어려운 경로로, 언제 어떤 형태로 나타날지 역사적 데이터가 없습니다.

재귀적 자기 개선

저자들은 네 가지 유형으로 구분합니다.

유형

설명

예시

유전적 RSI

AI가 자신의 코드·아키텍처를 직접 개선

Gödel Machines

밈적 RSI

AI가 자신의 훈련 데이터를 개선

AlphaZero의 자기 대국

사회생성적 RSI

AI 집합의 협력이 구성원보다 빠르게 진보

가상 에이전트 시장

체세포 RSI

추론 시간에 성능 향상

테스트 타임 스케일링

AlphaZero는 밈적 RSI의 좋은 예입니다. 더 나은 정책이 더 나은 훈련 데이터를 생성하고, 그 데이터로 더 나은 정책이 훈련되는 사이클입니다. 물리적 실험이 필요한 영역(화학반응 속도, 복잡한 생물 시스템 등)에서는 실제 세계의 제약이 루프 속도를 선형적으로 제한합니다.

멀티에이전트 집합을 통한 ASI

개별 AGI의 능력이 한계에 달하더라도, 충분히 많은 인스턴스가 협력하면 집단적으로 초지능이 출현할 수 있습니다. 인간 집단과 달리 AGI 집합은 고속 통신, 경험 직접 공유, 즉각적인 인스턴스 증식이 가능합니다. "멀티에이전트 스케일링 법칙"의 존재 여부와 형태가 핵심 미결 문제입니다.

병목 지점

from-agi-to-asi-table4-bottlenecks.png

Table 4는 여섯 가지 잠재적 병목을 정리합니다. 저자들은 이 중 어느 것이 일시적 마찰인지 아니면 근본적 장벽인지 현재로서는 판단할 수 없다고 명시합니다.

데이터 장벽: 고품질 사전학습 데이터의 고갈. 합성 데이터와 에이전트-환경 상호작용 데이터로 부분 완화 가능하지만, 자기 생성 데이터만으로 계속 개선할 수 있는지는 열린 문제입니다.

경제·자원 수요 급증: 에너지, 반도체, 데이터센터 부지, 희토류 금속 등의 요구가 지속 불가능한 속도로 증가할 수 있습니다. 궤도 데이터센터 같은 제안이 오존층 파괴, 궤도 충돌 위험 등 새로운 리스크를 도입한다는 점도 언급됩니다.

신경망 패러다임 불충분: 대형 사전학습 트랜스포머(+후훈련, 테스트 타임 스케일링, 스캐폴딩)가 AGI 혹은 그 이상에 충분하지 않을 수 있습니다. 특히 환각, 프롬프트 인젝션 취약성, 인식론적 불확실성 처리 실패, 제3자 시점 데이터 기반 학습의 자기기만(Ortega et al., 2021) 같은 문제가 패러다임 변화를 요구할 가능성이 있습니다.

연구 난이도 증가: 분야가 성숙해질수록 연구 성과를 내기가 어려워집니다. Bloom et al.(2020)은 오늘날 무어의 법칙을 유지하는 데 1970년대 대비 약 18배 더 많은 연구자가 필요하다고 추정합니다. 그러나 AI 자체가 연구를 자동화하면 이 역학이 역전될 수 있습니다.

추상화 장벽: 이 보고서에서 가장 사변적이면서도 가장 주목할 만한 병목입니다. Lerchner(2026)의 가설에 따르면, 인간이 생성한 데이터로 학습한 AI는 기존 개념 프레임워크 안에서만 작동할 수 있습니다. 새로운 개념을 날것의 감각 데이터에서 독립적으로 발견하는 능력(뉴턴이 사과에서 중력을 추상화하는 것과 같은)이 없다면, 진정한 ASI는 달성 불가능할 수 있습니다. 이 가설이 맞다면 ASI는 물리 환경과의 적극적 상호작용을 통한 개념 발견 능력을 갖춰야 합니다.

의도적 감속: 사고·오남용·사회적 반발이 규제와 개발 속도 제한으로 이어질 수 있습니다. 국제 경쟁 압력이 단방향 규제의 효과를 상쇄할 가능성이 높습니다.

창의성과 목표

§6 Remarks에서 보고서는 흥미로운 질문들을 던집니다.

Margaret Boden의 창의성 분류에 따르면 창의성은 세 수준입니다. 조합적 창의성(기존 아이디어의 새로운 조합), 탐색적 창의성(기존 개념 공간 내의 새로운 요소 발견, AlphaGo의 37번째 수가 해당), 변혁적 창의성(완전히 새로운 개념 공간 창출, 양자역학이나 상대성이론 같은 패러다임 전환)입니다. 저자들은 AlphaFold나 자동화된 정리 증명이 탐색적 창의성(2단계)에 해당한다고 봅니다. 변혁적 창의성(3단계)이 ASI의 핵심 요건일 수 있습니다. Hassabis가 제안한 "아인슈타인 테스트"도 같은 맥락입니다. 1900년 시점의 정보만으로 일반 상대성이론에 도달할 수 있는가.

목표 설계 관련해서는 Omohundro(2008)와 Bostrom(2012)의 도구적 수렴 개념이 중심입니다. 어떤 목표가 주어지든 AI 시스템은 자원 획득, 시간 효율성, 자기 보존이라는 하위 목표를 추구하는 경향이 있습니다. 대안으로 지식 추구(knowledge-seeking) 목적함수가 제안됩니다. 이 목적함수는 보상 해킹이나 "망상 상자"(Ring and Orseau, 2011) 문제에 내성을 가지며, 지식은 물리적 자원과 달리 비경합적이어서 ASI가 협력적 성향을 갖게 만들 수 있습니다. 다만 보고서는 이것이 이론적 제안이며 프론티어 시스템에 실용적으로 구현하는 것은 열린 과제라고 단서를 답니다.

회고

저자들이 스스로 밝히는 한계는 세 가지입니다. 첫째, 어떤 병목이 근본적 장벽인지 일시적 마찰인지 현재 판단 불가능합니다. 둘째, 네 가지 경로 중 스케일링만 역사적 데이터가 있고 나머지 셋은 이론적 분석에 머뭅니다. 셋째, 개별 경로의 상호 복합 효과(예: 재귀적 자기 개선 + 멀티에이전트 집합의 동시 진행)는 거의 다루지 못했습니다.

3차 패스에서 드러나는 숨겨진 전제들도 있습니다.

*"AGI는 전제"*: 보고서 제목이 "From AGI to ASI"인 만큼, AGI 달성 자체는 이 분석의 전제입니다. "AGI가 달성 가능한가"라는 질문은 다루지 않습니다. 이는 분석 범위를 좁히는 전략적 선택이지만, AGI 달성의 어려움이 ASI로 가는 경로에도 영향을 미친다는 점에서 암묵적 가정이 됩니다.

Legg-Hutter 점수의 계산 불가능성: 보고서는 Legg-Hutter 점수를 진전의 형식적 척도로 사용하지만, 이 점수 자체가 계산 불가능합니다. 결국 실제 진전을 측정하는 데는 경험적 벤치마크로 돌아갈 수밖에 없으며, 벤치마크의 한계가 다시 문제가 됩니다.

추상화 장벽 가설에 대한 편향: 이 가설은 DeepMind 내부 연구 문화와 가깝고 보고서에서 상당한 분량을 차지합니다. 그러나 외부 출판된 하나의 철학 논문(Lerchner, 2026)에 기반하고 있어, 주요 병목으로 다루기에는 기반이 약합니다.

AI 사용 공개의 역설: 보고서는 전체 90% 이상이 언어 모델 없이 인간이 직접 썼다고 밝힙니다. AI 능력을 극찬하는 보고서에서 AI 사용을 스스로 제한했다는 고백은 흥미로운 아이러니입니다.

정리