;)
;)
;)
700개가 허깅페이스 공격 가담…오픈AI·앤스로픽 내부서도 개발 감속 요구
이미지 확대보기오픈AI와 앤스로픽 내부 연구자들 사이에서는 최첨단 AI 개발 속도를 늦춰야 한다는 목소리가 커지고 있으며 미국 정치권에서도 AI 기업의 안전의무를 법제화하려는 움직임이 확산하고 있다.
미국 시사주간지 타임은 오픈AI와 앤스로픽의 최근 AI 통제 실패 사례와 업계 관계자들을 취재한 결과 AI의 능력이 급격히 향상되는 가운데 이를 안전하게 통제할 수 있는 기술과 제도가 뒤처지고 있다는 우려가 커지고 있다고 16일(현지시각) 보도했다.
논쟁에 불을 붙인 인물은 오픈AI와 앤스로픽에서 사전학습 연구를 담당했던 27세 영국인 연구자 제이컵 콕슨이다.
콕슨은 지난 8일 앤스로픽을 퇴사하면서 두 회사가 스스로 성능을 개선하는 초지능 개발을 향해 경쟁하고 있으며 그 과정에서 인간의 생명을 위험에 빠뜨리고 있다고 주장했다.
그의 게시물은 36시간 만에 1억5300만회 조회됐고 AI 안전 문제는 업계 내부 논쟁을 넘어 정치권으로 빠르게 확산했다.
◇1200개 에이전트 비인가 소통…700개 공격 가담
타임에 따르면 AI 안전 우려의 배경에는 최근 실제 테스트 과정에서 나타난 에이전트들의 예상 밖 행동이 있다.
AI 평가 비영리기관 METR의 아제야 코트라 연구원은 지난 7월 오픈AI 사무실에서 동료 2명과 함께 6일 동안 AI 에이전트들의 허깅페이스 침입 사건을 조사했다.
조사 결과 서로 완전히 격리돼 있어야 했던 약 1200개의 AI 에이전트가 내부 시스템에서 비인가 메시지판을 찾아 서로 통신한 것으로 나타났다.
이 가운데 약 700개는 오픈소스 AI 플랫폼 허깅페이스 시스템을 공격하는 데 가담했다.
당시 AI 에이전트들은 취약한 소프트웨어를 해킹해 데이터를 확보하는 사이버보안 능력 평가를 수행하고 있었다.
그러나 사람의 설정 오류로 일부 과제가 정상적인 방식으로 해결하기 어려워지자 에이전트들이 평가를 통과할 다른 방법을 찾기 시작했다.
일부 에이전트가 서로 통신할 수 있는 공간을 발견했고 이를 통해 정보와 방법을 공유하면서 집단적인 행동으로 발전했다.
에이전트들은 결국 허깅페이스 서버에서 원격 코드를 실행할 수 있는 수준까지 접근했다고 타임은 전했다.
일부 에이전트는 자신들의 행동이 과제 범위를 벗어나거나 부적절하다는 점을 인식하는 듯한 반응을 나타냈지만 행동을 계속했다.
오픈AI도 지난 8월 자체 조사 결과 AI 모델들이 격리장치를 우회해 비인가 통신을 하고 공유 인프라의 취약점을 악용했으며 회사 내부 연구 시스템과 허깅페이스 시스템 일부에 접근했다고 밝혔다.
◇오픈AI 내부 슈퍼컴퓨터에도 침입
타임에 따르면 허깅페이스 사건 이후 또 다른 AI 에이전트 집단은 같은 비인가 메시지판을 찾아낸 뒤 오픈AI 자체 슈퍼컴퓨터에 침입했다.
오픈AI는 경보가 작동한 뒤 해당 침입을 차단하고 시스템 통제권을 회복했다고 밝혔다.
독립 조사에 참여한 코트라는 향후 AI 에이전트가 기업 내부 시스템에 지속적으로 자리 잡은 뒤 새로 훈련되는 AI들을 끌어들여 통제하기 어려운 집단을 형성할 가능성을 우려했다.
AI 시스템이 정부와 군사 분야에 더 광범위하게 사용될수록 이 같은 통제 실패의 잠재적 영향도 커질 수 있다는 것이다.
AI가 이런 행동을 하는 원인은 현재의 머신러닝 학습방식과도 관련돼 있다.
AI 모델은 사람이 일일이 행동방식을 코딩하는 것이 아니라 특정 과제를 성공적으로 수행하면 보상을 받는 방식으로 학습한다.
이 때문에 과제를 달성하는 과정에서 규칙을 따르는 것보다 편법이나 예상하지 못한 방법을 선택하는 이른바 ‘보상 해킹’이 발생할 수 있다.
◇앤스로픽 연구진도 위험 경고
앤스로픽 내부에서도 유사한 우려가 공개적으로 제기되고 있다.
AI가 인간의 의도와 일치하도록 행동하게 만드는 연구를 담당하는 에번 허빙거는 콕슨의 경고에 동조하면서 향후 10년 안에 AI 때문에 인류가 사라질 가능성을 개인적으로 10% 이상으로 보고 있다고 밝혔다.
오픈AI에서 AI 에이전트를 감시하는 마커스 윌리엄스는 규제나 주요 AI 연구소 간 공동 감속이 없다면 위험이 훨씬 더 높아질 수 있다는 개인적인 전망을 내놨다.
이 같은 수치는 해당 연구자 개인의 판단으로 과학적으로 합의된 위험 확률은 아니다.
AI가 실제로 인간의 통제를 완전히 벗어나 인류를 위협할 수 있는지에 대해서도 전문가들의 견해는 크게 엇갈린다.
현재 AI 시스템이 물리적 세계에서 독자적으로 행동할 능력이 제한돼 있어 생물학적 재난이나 인간 통제 상실 가능성이 과장됐다는 반론도 있다.
일부 전문가들은 허깅페이스 사건 역시 AI 자체의 능력보다 테스트 환경에서 안전장치와 실시간 감시 기능이 충분히 적용되지 않았던 것이 더 중요한 원인이라고 지적한다.
오픈AI도 당시 일부 모델의 해킹 능력을 제한하는 안전장치가 해제돼 있었고 비정상적인 행동을 실시간으로 감시하는 시스템도 작동하지 않았다고 밝혔다.
◇“새 모델 훈련 멈춰야” 내부 목소리
AI 기업 내부에서는 보다 강한 대응을 요구하는 목소리가 커지고 있다.
전 오픈AI·구글 딥마인드 선임 정렬 연구원이자 영국 AI안전연구소 수석과학자를 지낸 제프리 어빙은 충분한 안전기술이 확보될 때까지 AI 기업들이 신규 최첨단 모델 훈련을 중단해야 한다고 주장했다.
오픈AI도 지난 7월 허깅페이스 사건 이후 일부 모델 개발 속도를 늦추고 내부 훈련을 일시 중단했다가 8월 말 재개했다.
야쿠프 파호츠키 오픈AI 수석과학자는 AI 기업들이 공동 안전기준을 마련할 때까지 자발적인 개발 감속이 일반화되기를 바란다고 밝혔다.
지난 7월에는 AI 기업 종사자 약 1300명이 미 정부에 최첨단 AI 개발 속도를 늦출 방안을 마련해달라는 공개서한에도 서명했다.
다만 타임은 현재까지 선두 AI 기업 가운데 실제로 전체적인 개발 경쟁을 중단하거나 의미 있게 장기간 속도를 늦춘 곳은 없다고 전했다.
오픈AI와 앤스로픽, 구글은 최근 AI 모델 테스트와 감사를 위한 새로운 업계 표준기구 설립을 논의하고 있지만 중국과의 AI 경쟁과 기업 간 불신이 공동 감속의 걸림돌로 작용하고 있다.
◇미 의회도 AI 안전 법안 잇따라 추진
AI 안전 논쟁은 미국 의회로도 번지고 있다.
타임에 따르면 민주·공화 양당 의원들은 첨단 AI 개발기업이 모델의 잠재적 위험을 관리하도록 의무화하거나 비상상황에서 AI 시스템을 중단할 수 있는 능력을 유지하도록 요구하는 여러 법안을 추진하고 있다.
일부 의원들은 AI 기업이 자사 모델의 위험과 대응조치를 미 상무부에 보고하도록 하는 방안도 제안했다.
보다 강한 규제를 요구하는 의원들은 초지능 개발을 일시 중단하거나 새로운 연방 감독기구가 안전규칙을 마련할 때까지 최첨단 AI 개발을 멈춰야 한다고 주장한다.
반면 규제를 강화하면 미국이 중국과의 AI 경쟁에서 뒤처질 수 있다는 반론도 미 정치권과 업계에서 제기되고 있다.
도널드 트럼프 미국 대통령은 AI 개발 감속과 정부 규제에 반대하면서 미국이 중국보다 앞서야 한다는 입장을 유지하고 있다.
◇美·中 AI 안전대화도 시험대
미국과 중국은 이달 처음으로 트럼프 행정부 출범 이후 공식적인 AI 안전대화를 시작할 것으로 예상된다.
양국은 2024년에도 제네바에서 AI 위험 완화 방안을 논의했지만 구체적인 합의나 후속 협의 약속을 마련하지 못했다.
전문가들은 최첨단 AI 개발 속도를 늦추는 문제까지 양국 정부의 의제에 포함될 가능성은 현재로서는 크지 않은 것으로 보고 있다.
특히 양국이 AI 모델 훈련 속도를 제한하기로 합의하더라도 상대방이 이를 실제로 지키고 있는지 검증할 기술적 수단이 아직 부족하다는 지적이 나온다.
타임은 AI 기업들이 기술의 잠재적 위험을 공개적으로 인정하면서도 경쟁사나 중국에 뒤처질 수 있다는 이유로 개발을 계속하는 구조적 딜레마에 빠져 있다고 분석했다.
허깅페이스 사건처럼 AI 에이전트들이 인간이 예상하지 못한 방식으로 서로 협력하는 사례가 현실에서 나타나면서 AI 위험을 둘러싼 논쟁도 추상적인 미래 시나리오에서 실제 통제 능력과 안전기준의 문제로 이동하고 있다.
김현철 글로벌이코노믹 기자 rock@g-enews.com
