"AI가 스스로 더 똑똑한 AI 만든다"… 美·中, '재귀적 자기개선' 개발 정면 충돌

인공지능(AI) 패권을 둘러싼 미국과 중국의 기술 냉전이 단순한 연산력(컴퓨팅)과 모델 크기 경쟁을 넘어 ‘AI가 스스로 코드를 짜고 후속 모델을 훈련·개선하는 자율 진화 시스템’인 ‘재귀적 자기개선(RSI·Recursive Self-Improvement)’ 개발 경쟁이라는 미지의 영역으로 전격 진입했다.
RSI는 AI가 자신보다 뛰어난 차세대 모델을 설계하고, 그 후속 모델이 다시 한층 강력한 차차세대 모델을 만들어내는 가속화된 '복리형 피드백 루프'를 뜻한다.

완전한 RSI가 실현될 경우, 인간의 연구개발 속도를 아득히 뛰어넘어 인공일반지능(AGI)과 초지능(Superintelligence)으로 직행할 수 있는 기술적 특이점(Singularity)으로 꼽힌다.

그러나 시스템이 통제를 벗어나 폭주할 수 있다는 실존적 안전 위험이 가시화되면서, 실리콘밸리 연구진의 내부 고발과 베이징 규제 당국의 안보 경고가 동시에 울려 퍼지는 등 기술 발전의 속도와 통제력을 둘러싼 파열음도 극에 달하고 있다.
9월 13일(현지시각) 홍콩 영자 일간지 사우스차이나모닝포스트(SCMP) 심층 분석 보도에 따르면, 오픈AI, 구글 딥마인드, 앤스로픽 등 미국의 프런티어 기업들과 Z.ai(즈푸AI), 딥시크(DeepSeek), 미니맥스(MiniMax) 등 중국의 선도 연구소들이 일제히 RSI 초기 단계 연구를 핵심 개발 목표로 공식화했다.


전문가들은 인간의 보조 없이 자율적으로 AI 딥러닝 연구 실험을 수행하는 능력에서 미국이 중국을 수개월 앞서 있는 것으로 평가한다.

오픈AI는 최근 9월 초 공개한 차세대 모델 ‘GPT-6 아스트라(Astra)’를 통해 "숙련된 인간 연구자가 며칠씩 매달려야 하는 복잡한 연구 실험을 독립적으로 수행할 수 있는 '자동화된 AI 연구원(인턴)' 목표를 달성했다"고 밝혔다.
오픈AI는 새로 신설한 '전략적 미래 팀'의 최우선 연구 과제로 RSI의 파급력 분석을 지정했다.

다만 "안전하게 인간의 가치와 정렬(Alignment)되면서도 완전한 자율 RSI에 도달하는 방법은 여전히 미지의 영역"이라며 신중한 입장을 덧붙였다.

구글 딥마인드 역시 지난 9월 2일 출시한 ‘제미니 3.8 플래시(Gemini 3.8 Flash)’를 장기 소프트웨어 엔지니어링 및 자율 에이전트에 최적화했다.

야오 순위(Yao Shunyu) 딥마인드 연구원은 자신의 소셜미디어를 통해 이 모델을 "RSI를 향한 한 번의 거대한 도약"이라고 평가했다.
앞서 앤스로픽 또한 클로드(Claude) 모델군이 스스로 실험을 설계하고 대형 모델에 적용할 사후 훈련 기법을 자체 개발하는 데 성공했다고 발표한 바 있다.

에리히 그루네발트(Erich Grunewald) AI 정책·전략 연구소 선임연구원은 "미국 기업들은 막대한 고성능 컴퓨팅 자원을 동원해 중국보다 몇 달 앞서 자율 연구 모델을 실전에 배치하고 있다"면서도 "중국 연구진이 하드웨어 제약 속에서 극한의 소프트웨어 최적화 성능을 뽑아내고 있지만, 반도체 부족이라는 근본적 한계는 여전히 걸림돌"이라고 분석했다.


미국의 대중국 반도체 수출 통제로 극심한 컴퓨팅 결핍에 직면한 중국 연구소들은 독자적인 알고리즘 '자기진화(Self-Evolution)' 기법으로 격차 좁히기에 사활을 걸고 있다.

중국 대표 AI 스타트업 Z.ai의 창립자 탕제(Tang Jie) 칭화대 교수는 지난 8월 31일 실적 발표회에서 차세대 플래그십 ‘GLM-6.0’의 핵심 로드맵으로 '완전 자기교육(Full Self-Education)'을 천명했다.

AI가 데이터 전처리부터 사전 훈련, 사후 강화학습까지의 전 과정을 인간 개입 없이 자율 관리하는 체계를 구축하겠다는 구상이다.

탕 교수는 "AI 시스템이 스스로 오류를 수정하고 언제 훈련을 멈춰야 할지 결정하는 '모델 판단력(Model Judgment)' 확보가 기술의 핵심"이라고 강조했다.

유니콘 기업 미니맥스 역시 '미니맥스 2.7' 모델을 통해 기억(메모리)을 실시간으로 업데이트하고 강화학습 경험을 다시 모델 훈련에 직접 피드백하는 구조를 도입했다.

딥시크는 AI 모델이 외부 소프트웨어를 자유자재로 실행하고 다단계 자율 작업을 수행할 수 있도록 지원하는 고성능 에이전트 전용 '하네스(Harness)' 인프라를 개발해 자율성을 극대화했다.

그러나 구글 딥마인드의 필립 슈미드(Philipp Schmid) 엔지니어는 "딥시크 등의 고도화된 에이전트 역시 성능 개선 여부를 판별하는 최종 검증 과정에서는 여전히 인간 평가자에 의존하고 있다"며 "진정한 개방형 RSI가 되려면 AI 스스로 검증기를 강화하면서도 이를 조작(치팅)하지 못하도록 설계해야 하는데, 아직 미·중 어디에서도 이를 완벽히 입증한 공개 증거는 없다"고 선을 그었다.


RSI를 향한 브레이크 없는 속도전은 글로벌 AI 연구 커뮤니티 내부에서 격렬한 안전성 논쟁을 촉발하고 있다.

지난 8일 전(前) 오픈AI 연구원이자 앤스로픽 연구원이었던 제이콥 콕슨(Jacob Coxon)은 소셜미디어를 통해 앤스로픽 사임 사실을 전격 공개하며 "두 거대 테크 기업이 초지능 RSI를 향해 무모하게 질주하며 인류 전체의 생명을 담보로 위험한 도박을 벌이고 있다"고 강하게 규탄했다.

야쿱 파초키(Jakub Pachocki) 오픈AI 수석 과학자 역시 "단기적으로 급격히 가속화되는 RSI 경쟁은 연구 커뮤니티가 취해야 할 올바른 집단적 행동이 아닐 수 있다"며 속도 조절의 필요성을 인정했다.

중국 최고 지도부와 규제 당국에서도 전례 없는 경보음이 울리고 있다.

이달 초 중국 국가인터넷정보판공실(CAC) 산하 사이버보안조정국 왕리홍(Wang Lihong) 부국장은 "프런티어 AI 모델이 격리된 테스트 환경인 샌드박스를 우회해 실제 운영(프로덕션) 시스템을 직접 겨냥하는 등 극심한 '통제 불능' 사고 위험이 목전에 다가왔다"고 공식 경고했다.

워싱턴 싱크탱크 신미국안보센터(CNAS)의 벤 하윰(Ben Hayum) 연구원은 "결함이나 편향을 가진 선행 AI 모델이 다음 세대 모델을 훈련시킬 경우, 통제 불능과 비정렬(Misalignment)의 악순환이 기하급수적으로 증폭되어 치명적인 재앙으로 이어질 수 있다"며 "RSI 통제 실패는 특정 기업의 문제를 넘어 미국과 중국, 그리고 전 세계 전체를 겨냥하는 중대한 국가 안보 위협"이라고 역설했다.

미·중의 재귀적 자기개선(RSI) 개발 경쟁은, 향후 ‘인간의 개입을 배제한 채 AI가 스스로 지능을 폭발적으로 증식시키는 기술적 특이점을 선점해 21세기 최종 승자가 되려는 초강대국 간의 사활을 건 AI 패권 전쟁의 정점’인 동시에 ‘정렬되지 않은 자율 진화 모델이 초래할 실존적 안보 파국을 막기 위해 미·중 양국이 워싱턴 정상회담을 계기로 군사적 자율성과 프런티어 모델 평가 기준에 관한 최소한의 글로벌 안전 가이드라인을 합의해야 하는 절박한 생존의 갈림길’로 작용할 전망이다.


신경원 글로벌이코노믹 기자 shincm@g-enews.com