AI 2040 - 초지능 감속 협정

이 글은 AI Futures Project가 공개한 AI 2040과 Axios의 선공개 보도를 참고하여 작성했습니다.

초지능 개발을 늦추자는 주장은 새롭지 않습니다. 대개는 안전을 위해 속도를 줄여야 한다는 선언에서 끝났습니다. 2026년 7월 9일 공개된 AI 2040: Plan A는 한 단계 더 나아갑니다. 누가 무엇을 멈추고, 상대의 약속을 어떻게 확인하며, 몰래 경쟁을 재개했을 때 무엇으로 억제할지까지 시나리오로 묶었습니다.

이 시나리오의 목표는 AGI를 금지하는 것이 아닙니다. 인류가 통제하기 어려운 초지능에 도달하는 시점을 2040년까지 늦추자는 것입니다. 확보한 시간 동안 안전 연구와 제도를 준비하고, 소수 기업과 국가에 집중된 능력을 더 넓게 분산하자는 구상입니다.

핵심은 세 가지입니다. 프런티어 연구의 공개, 국가 간 검증, 그리고 위반 시 컴퓨트를 무력화할 수 있는 억지 구조입니다. 이 세 요소가 맞물리지 않으면 감속 협정은 먼저 속도를 줄인 쪽만 손해 보는 약속이 됩니다.

감속의 조건

AI 경쟁에는 전형적인 죄수의 딜레마가 있습니다. 모든 참여자가 속도를 늦추면 사고 위험이 줄어듭니다. 하지만 상대가 늦추는 동안 한쪽만 계속 개발하면 경제력과 군사력에서 큰 우위를 얻을 수 있습니다. 그러므로 각 참여자는 상대도 멈출 것이라는 확신이 없으면 먼저 멈추기 어렵습니다.

이를 간단한 표로 쓰면 구조가 선명해집니다.

AI 2040은 선의보다 구조를 바꾸려 합니다. 미국과 중국을 포함한 주요국이 검증 가능한 협정을 맺고, 여러 연구 조직이 비슷한 수준의 능력을 보유하게 하며, 협정 위반으로 한 조직이 독주하기 어려운 환경을 제안합니다.

여기서 2040년은 예측 날짜라기보다 정책 목표입니다. 초지능이 정확히 언제 가능한지 맞히는 것이 아니라, 개발 속도를 조정해 사회가 준비할 시간을 확보하는 기준점입니다.

연구 공개

첫 번째 장치는 프런티어 AI 연구를 더 공개하는 것입니다. 소수 연구소만 최신 알고리즘과 안전 기법을 알고 있으면 외부 검증이 어렵습니다. 정책 담당자도 기업이 제공하는 평가 결과에 의존하게 됩니다.

연구 공개는 세 가지 효과를 냅니다.

1. 외부 연구자가 안전 주장을 재현할 수 있습니다.
2. 여러 조직이 비슷한 기술 수준에 도달해 한 기업의 독점을 줄일 수 있습니다.
3. 비밀 프로젝트가 기술적 우위를 축적하기 어려워집니다.

하지만 공개는 안전장치인 동시에 확산 장치입니다. 모델 가중치, 학습 코드, 데이터 구성, 위험한 능력을 끌어내는 후훈련 방법은 성격이 다릅니다. 모두 공개하면 검증 가능성은 높아지지만 생물학적 설계나 사이버 공격 같은 고위험 능력도 복제하기 쉬워집니다.

따라서 공개 여부를 이분법으로 다루기 어렵습니다. 평가 프로토콜과 안전 사례는 넓게 공개하고, 즉시 오용할 수 있는 가중치와 세부 기법은 접근 통제 아래 검증하는 계층형 구조가 필요합니다. 투명성의 단위가 논문인지, 코드인지, 가중치인지부터 합의해야 합니다.

검증 체계

두 번째 장치는 검증입니다. 핵무기는 탄두와 미사일, 핵물질이라는 비교적 분명한 물리적 대상을 셀 수 있습니다. AI 개발은 데이터센터 전력, 반도체 수량, 네트워크 트래픽, 학습 실행 기록처럼 여러 간접 신호를 조합해야 합니다.

검증 가능한 AI 협정에는 최소한 다음 항목이 필요합니다.

컴퓨트 임계값만 규제하면 알고리즘 효율 향상이 빈틈이 됩니다. 같은 칩으로 더 강한 모델을 만들 수 있기 때문입니다. 반대로 모델 능력만 평가하면 평가 환경에서는 얌전하게 행동하고 실제 배포에서는 다른 도구와 메모리를 결합하는 문제를 놓칠 수 있습니다.

결국 검증 대상은 칩 수량 하나가 아니라 컴퓨트, 실행 기록, 모델 능력, 배포 스캐폴딩의 묶음이어야 합니다. 국제원자력기구처럼 정기 사찰과 원격 계측을 담당할 기관도 필요합니다. 기업 내부 평가만으로는 국가 간 신뢰를 만들 수 없습니다.

컴퓨트 억지

가장 강한 제안은 대형 데이터센터를 의도적으로 감시와 차단이 쉬운 위치에 두는 것입니다. 한 국가가 몰래 협정을 깨고 초지능 경쟁을 재개하면 상대가 그 컴퓨트를 물리적으로 무력화할 수 있게 만드는 구상입니다. 시나리오는 이를 상호확증 컴퓨트 파괴에 가까운 구조로 설명합니다.

논리는 핵 억지와 비슷합니다. 선제적으로 약속을 깨도 핵심 자산을 지킬 수 없다면 위반의 기대 이익이 줄어듭니다. 데이터센터를 깊은 지하나 접근하기 어려운 비밀 시설에 숨기는 대신, 위성과 현장 사찰로 확인할 수 있는 장소에 집중시키는 이유입니다.

그러나 컴퓨트는 핵무기와 다릅니다. 탄두는 폭발하면 사라지지만 알고리즘과 모델 가중치는 복제할 수 있습니다. 대규모 사전학습은 거대한 클러스터가 필요해도, 이미 만들어진 모델의 추론과 후훈련은 더 작은 시설에 분산할 수 있습니다. 민간 클라우드, 군사 시설, 해외 데이터센터가 연결되면 어느 자산이 협정 대상인지도 모호해집니다.

물리적 파괴를 억지 수단으로 삼는 순간 사이버 공격과 군사 충돌의 경계도 흐려집니다. 상대 데이터센터의 전력이나 네트워크를 차단하는 행위가 협정 집행인지 공격인지 판단해야 합니다. 자동 대응은 오판 위험을 키우고, 정치적 승인 절차는 억지의 즉시성을 낮춥니다.

다극 체제

AI 2040은 수십 개 조직이 프런티어 수준을 공유하는 다극 체제를 상정합니다. 한 연구소가 초지능 직전의 기술을 독점하는 것보다 여러 조직이 서로를 감시하는 편이 권력 집중을 줄인다는 판단입니다.

다극화에는 분명한 장점이 있습니다. 한 기업의 안전 문화나 경영진 판단이 전 인류의 위험을 결정하지 않습니다. 연구 결과를 교차 검증할 수 있고, 특정 국가가 기술 접근을 무기로 삼기도 어려워집니다.

반면 참여자가 많아질수록 가장 느슨한 고리가 문제가 됩니다. 수십 개 조직 가운데 하나만 보안이 약해도 가중치가 유출될 수 있습니다. 한 조직이 경쟁 압력 때문에 위험 평가를 축소하면 다른 조직도 뒤따를 가능성이 큽니다.

다극 체제는 권력 분산과 공격 표면 확대를 함께 가져옵니다. 조직 수를 늘리는 것만으로 안전해지지 않습니다. 공통 보안 기준, 사고 보고 의무, 독립 평가, 위반 시 접근권 회수 같은 운영 규칙이 먼저 필요합니다.

실행의 병목

이 구상이 현실에서 막히는 지점은 기술보다 정치입니다. 미국과 중국은 반도체 수출 통제, 공급망, 군사적 AI 사용을 두고 경쟁하고 있습니다. 한쪽의 감속이 다른 쪽의 추격 시간을 벌어준다고 해석되면 협정은 국내 정치부터 통과하기 어렵습니다.

기업의 이해도 다릅니다. 프런티어 연구소는 이미 데이터센터와 인재에 막대한 자본을 투입했습니다. 연구 공개와 학습 제한은 기업 가치와 직접 충돌합니다. 정부가 제한을 요구하려면 손실 보상, 공공 연구 투자, 안전 평가 비용 지원 같은 경제적 장치를 함께 설계해야 합니다.

초지능의 정의도 합의하기 어렵습니다. 특정 벤치마크 점수로 선을 그으면 그 평가만 최적화하게 됩니다. 경제 생산성, 자율 연구, 사이버 능력, 생물학적 설계처럼 서로 다른 능력이 비대칭적으로 발전할 수도 있습니다. 하나의 AGI 점수보다 위험 영역별 능력 임계값을 두는 편이 실행 가능성이 높습니다.

남는 기준

AI 2040의 가치는 2040년이라는 날짜보다 감속을 검증 문제로 바꾼 데 있습니다. 속도를 줄이라는 윤리적 호소만으로는 경쟁 균형이 바뀌지 않습니다. 무엇을 공개하고, 무엇을 측정하며, 위반을 누가 판정하고, 어떤 대응을 허용할지까지 정해야 약속이 제도가 됩니다.

동시에 상호확증 컴퓨트 파괴는 핵 억지의 비유를 너무 멀리 밀어붙일 위험이 있습니다. 컴퓨트는 분산되고 소프트웨어는 복제됩니다. 데이터센터를 공격 가능한 상태로 두는 것이 안정성을 높이는지, 오히려 선제공격의 유인을 만드는지도 따져야 합니다.

현실적인 출발점은 더 작을 수 있습니다. 대형 학습 실행의 등록, 공통 위험 평가, 독립 감사, 칩과 데이터센터의 공급망 기록부터 국제 표준으로 만드는 것입니다. 완전한 감속 협정에 합의하지 못해도 검증 인프라는 사고 대응과 책임 추적에 바로 쓸 수 있습니다.

초지능 논쟁은 능력이 가능한가에 오래 머물렀습니다. 이제 더 중요한 질문은 능력이 다가올 때 경쟁을 어떤 규칙 아래 둘 것인가입니다. AI 2040은 그 규칙이 선의가 아니라 검증과 이해관계 위에서 작동해야 한다고 말합니다.

이 글은 AI 2040의 감속 시나리오에 동의하되, 연구 공개의 확산 위험과 컴퓨트 억지의 실행 한계까지 함께 검토했습니다.