A Definition of AGI

D. Hendrycks, D. Song, C. Szegedy, H. Lee, Y. Gal, E. Brynjolfsson, S. Li, A. Zou, L. Levine, B. Han, J. Fu, Z. Liu, J. Shin, K. Lee, M. Mazeika, L. Phan, G. Ingebretsen, A. Khoja, C. Xie, O. Salaudeen, M. Hein, K. Zhao, A. Pan, D. Duvenaud, B. Li, S. Omohundro, G. Alfour, M. Tegmark, K. McGrew, G. Marcus, J. Tallinn, E. Schmidt, and Y. Bengio, "A Definition of AGI", arXiv preprint arXiv:2510.18212, 2025.

인공일반지능(AGI)은 무엇일까요? AI가 체스를 마스터하고, 수학 문제를 풀고, 심지어 예술 작품을 만들어내는 지금, AGI의 정의는 점점 더 모호해지고 있습니다. 한때 불가능하다고 여겨졌던 작업들을 AI가 해내면서, 골대는 계속 움직이고 있죠.

이 논문은 그러한 모호함을 깨고 AGI를 정량화할 수 있는 체계적인 프레임워크를 제시합니다. 핵심 아이디어는 간단합니다. AGI란 교육받은 성인의 인지적 다재다능함과 숙련도를 따라잡거나 능가하는 AI입니다. 이를 측정하기 위해 연구팀은 인간 인지 능력의 가장 검증된 모델인 Cattell-Horn-Carroll(CHC) 이론을 활용했습니다.

결과는 놀랍습니다. GPT-4의 AGI 점수는 27%, GPT-5는 57%입니다. 빠른 발전에도 불구하고, 현재 AI는 여전히 AGI와 상당한 거리가 있다는 것을 구체적인 수치로 보여줍니다.

요약

아키텍처 및 방법론

이 논문은 특정 AI 모델을 제안하는 것이 아니라, AGI를 평가하기 위한 프레임워크를 제시합니다. CHC 이론을 기반으로 일반 지능을 10개의 핵심 인지 영역으로 분해했습니다.

• 지식(K): 일반 상식, 과학, 사회과학, 역사, 문화
• 읽기 및 쓰기(RW): 문자 인식, 독해, 작문, 영어 사용법
• 수학(M): 산술, 대수, 기하, 확률, 미적분
• 추론(R): 연역, 귀납, 마음 이론, 계획, 적응
• 작업 기억(WM): 텍스트, 청각, 시각, 교차 모달
• 장기 기억 저장(MS): 연관, 의미, 축어 기억
• 장기 기억 인출(MR): 유창성, 환각 방지
• 시각 처리(V): 인식, 생성, 추론, 공간 스캐닝
• 청각 처리(A): 음소 코딩, 음성 인식, 음성, 리듬, 음악 판단
• 속도(S): 지각 속도, 반응 시간, 처리 유창성

각 영역은 10%의 가중치를 가지며, 총 100%가 AGI를 의미합니다.

평가 데이터셋 및 매트릭

논문은 고정된 데이터셋이 아닌 작업 명세(task specification)를 제공합니다. 각 인지 능력에 대해:

• 기존 심리측정 배터리 활용 (예: Raven's Progressive Matrices, Wisconsin Card Sorting Test)
• 도메인별 벤치마크 (예: GSM8K, MATH, ImageNet, LibriSpeech)
• 사람이 직접 평가할 수 있는 구체적인 예시 제시

평가는 수동 또는 자동으로 수행될 수 있으며, 현 시점의 최선의 평가 방법을 사용할 수 있어 시간이 지나도 견고합니다.

훈련 방법

이 논문은 AGI 정의 및 평가 프레임워크이므로 특정 훈련 방법을 제안하지 않습니다. 대신, 현재 AI 시스템(GPT-4, GPT-5)을 이 프레임워크로 평가하여 성능을 정량화했습니다.

주요 결과

GPT-4와 GPT-5의 영역별 점수:

핵심 발견:

1. 들쭉날쭉한 프로필: 현재 AI는 지식 집약적 영역에서는 강력하지만, 기초 인지 기능(특히 장기 기억 저장)에서 치명적 결함을 보입니다.
2. 병목 현상: 장기 기억 저장이 가장 큰 병목으로, 현재 모델들은 계속 학습하는 능력이 없어 "기억상실증"을 겪습니다.
3. 능력 왜곡: AI는 약점을 보완하기 위해 강점을 활용합니다. 예를 들어, 긴 컨텍스트 윈도우로 장기 기억 부족을 보완하려 하지만, 이는 비효율적이고 확장 불가능합니다.

논문 상세

1. Introduction - AGI 정의의 필요성

AGI의 모호한 정의는 생산적인 논의를 방해하고, 현재 AI와 AGI 사이의 간극을 가립니다. 연구팀은 다음과 같은 비공식적 정의에서 출발했습니다:

AGI는 교육받은 성인의 인지적 다재다능함(versatility)과 숙련도(proficiency)를 따라잡거나 능가할 수 있는 AI입니다.

이를 구체화하기 위해 인간 인지의 유일한 사례를 참고했습니다. CHC 이론은 100년이 넘는 인지 능력 테스트의 요인 분석을 종합하여, 일반 지능을 위계적으로 분류합니다.

2. Framework Overview - 10가지 핵심 인지 영역

프레임워크는 CHC 이론의 광범위 능력(broad abilities)에서 파생된 10가지 핵심 요소로 구성됩니다. 각 영역은 여러 세부 능력(narrow abilities)으로 나뉩니다.

예를 들어, **작업 기억(WM)**은:

• 텍스트 작업 기억: 단어 시퀀스 회상, 변환
• 청각 작업 기억: 음성/소리 회상, 변환
• 시각 작업 기억: 이미지 회상, 공간 내비게이션, 장편 비디오 Q&A
• 교차 모달 작업 기억: 모달 간 정보 유지 및 수정

각 세부 능력에는 구체적인 예시 문제와 테스트가 포함됩니다.

3. Assessment Details - 각 영역별 평가

논문의 부록(A~J)에서는 각 인지 영역을 어떻게 평가할지 상세히 설명합니다. 몇 가지 예시:

지식(K) - 상식

• "유리병을 콘크리트 바닥에 떨어뜨리면 어떻게 될까요?"
• "샌드위치를 만드는 것이 빵을 굽는 것보다 오래 걸리나요?"

수학(M) - 확률

• \(N\)개의 주사위를 던질 때(\(1 \leq N \leq 6\)), 같은 면이 나오지 않는다는 조건 하에 하나가 6이 나올 확률은?
• 답: \(\frac{N}{6}\)

추론(R) - 귀납

• Raven's Progressive Matrices를 언어적/시각적으로 제시하여 패턴 인식 능력 평가
• 90분위 이상이면 2%, 50~90분위는 1%

장기 기억 저장(MS) - 연관 기억

• AI에게 여러 가상 인물의 정보(이름, 나이, 직업, 취미)를 제시
• 48시간 후 새 세션에서 "식물학자는 누구인가?" 질문

4. Current AI Performance - GPT-4 vs GPT-5

GPT-4의 강점:

• 지식 집약적 영역: 일반 지식(8%), 읽기/쓰기(6%), 수학(4%)
• 숫자 계산과 독해에서 기본 수준

GPT-4의 약점:

• 추론 능력 거의 없음(0%)
• 장기 기억 저장 전무(0%)
• 시각/청각 처리 불가(0%)
• 토큰 수준 이해 부족으로 철자나 정확한 교정 어려움

GPT-5의 개선:

• 수학 능력 대폭 향상(4% → 10%)
• 추론 능력 출현(0% → 7%)
• 멀티모달 능력 획득: 시각(4%), 청각(6%)
• 긴 문맥 이해 개선

여전한 한계:

• 장기 기억 저장 여전히 0%
• 속도 제한적(3%)
• 환각 문제 지속

5. Discussion - 들쭉날쭉한 AI와 병목 현상

능력 왜곡(Capability Contortions):

1. 작업 기억 vs 장기 기억: AI는 긴 컨텍스트 윈도우로 장기 기억 부족을 보완하려 하지만, 이는 비효율적이고 며칠 이상의 누적 문맥에는 실패합니다. 진정한 해결책은 LoRA 어댑터와 같은 지속적 학습 모듈입니다.

2. 외부 검색 vs 내부 인출: RAG(Retrieval-Augmented Generation)는 환각을 줄이지만, 두 가지 근본적 약점을 가립니다:

   • 방대하지만 정적인 파라메트릭 지식의 신뢰할 수 없는 접근
   • 동적이고 경험적인 기억의 부재

엔진 비유: AI 시스템은 고성능 엔진과 같습니다. 전체 "마력"(지능)은 가장 약한 구성 요소에 제약받습니다. 현재 AI는 여러 핵심 부품이 결함이 있어 전체 성능이 제한됩니다.

AGI 달성의 장벽:

• 추상적 추론(ARC-AGI Challenge)
• 직관적 물리학 이해(세계 모델)
• 공간 내비게이션 기억
• 환각 제거
• 지속적 학습

이러한 중대한 장벽들로 인해 내년 내 100% AGI 점수는 불가능할 것으로 보입니다.

6. Limitations and Future Work

프레임워크의 한계:

• CHC 이론 기반이므로 운동 능력 같은 일부 영역 제외
• 영어 중심적이며 문화적으로 중립적이지 않음
• 지식 테스트가 선택적이며 모든 주제 영역을 다루지 않음
• 가중치가 임의적(각 10%)이며, 다른 가중치 체계도 합리적일 수 있음

관련 개념 정의:

• Pandemic AI: 팬데믹을 일으킬 병원체를 만들 수 있는 AI
• Cyberwarfare AI: 중요 인프라에 대한 정교한 사이버 공격 수행 AI
• Self-Sustaining AI: 자율적으로 무기한 작동하며 자원을 획득하는 AI
• Recursive AI: 인간 개입 없이 더 발전된 AI를 독립적으로 만드는 AI
• Superintelligence: 거의 모든 영역에서 인간을 크게 능가하는 AI
• Replacement AI: 거의 모든 작업을 더 효과적이고 저렴하게 수행하여 인간 노동을 경제적으로 쓸모없게 만드는 AI

이 논문의 AGI 정의는 인간 수준 AI에 관한 것이지, 경제적으로 가치 있는 AI나 경제 수준 AI가 아닙니다. AGI에 대한 명확하고 측정 가능한 정의를 제공한 것은 큰 의미를 가집니다. GPT-4의 27%에서 GPT-5의 57%로의 빠른 발전에도 불구하고, 진정한 AGI까지는 아직 갈 길이 멉니다.