AI 기업 경쟁이 안전장치 흔든다…협력마저 ‘담합’ 우려

오픈AI와 앤스로픽을 비롯한 선두 인공지능(AI) 기업들의 경쟁이 오히려 AI 안전장치를 약화시키고 있다는 우려가 커지고 있다.
기업들이 더 강력한 모델을 먼저 개발하기 위해 경쟁하면서 과거 내세웠던 안전 원칙에서 물러나는 사례가 나타나고 있고, 기업 간 안전 협력조차 담합으로 비칠 수 있다는 반독점 우려와 경영진 간 불신에 가로막힐 수 있다는 지적이다.

파이낸셜타임스(FT)는 고위 AI 연구자, 투자자, 학계·정책 관계자 24명 이상을 인터뷰한 결과 AI의 능력이 예상보다 빠르게 발전하는 가운데 이를 개발하는 기업들은 갈수록 격렬한 상업 경쟁에 빠져 있는 것으로 나타났다고 12일(현지시각) 보도했다.

스튜어트 러셀 미국 캘리포니아대 버클리 교수는 “기업 간 경쟁이 안전에서 지름길을 택하게 한다”고 지적했다.
오픈AI와 앤스로픽은 모두 강력한 AI가 무분별하게 개발될 가능성을 우려하며 출발한 연구조직이다. 그러나 FT는 “두 회사가 시간이 흐르면서 치열한 경쟁을 이유로 이전의 일부 안전 약속을 깨는 선택을 정당화해왔다”고 지적했다.

◇안전 협력하려 해도 ‘담합’ 우려…경영진 불신도 걸림돌

AI 기업들이 안전을 위해 힘을 합치는 것도 쉽지 않은 것으로 나타났다.

FT에 따르면 주요 AI 연구소들은 안전을 높이기 위한 공식적인 협력이 기업 간 담합으로 비칠 수 있고 반독점 규제에 저촉될 가능성을 우려하고 있다.
회사 수장들 사이의 관계도 변수다.

업계 관계자들은 다리오 아모데이 앤스로픽 최고경영자(CEO)와 샘 올트먼 오픈AI CEO 사이의 개인적 불신이 양사 간 협력을 어렵게 만들 가능성이 있다고 FT에 전했다.

AI 개발 속도를 조절하기 위한 국제적 협력을 요구하는 내부 목소리는 이미 커지고 있다. 지난 7월에는 오픈AI, 앤스로픽, 구글, 메타 직원 1200명 이상이 미국 정부에 AI 개발 속도를 늦추기 위한 국제 공조를 지원해달라고 촉구했다.

올트먼 CEO도 이번 주 직원들에게 경쟁 연구소들이 동참한다면 개발 속도를 조율하는 데 열려 있다는 뜻을 밝힌 것으로 전해졌다.
그러나 정부 차원의 대응은 개발 속도를 따라가지 못하고 있다.

FT는 워싱턴DC의 정관계 관계자들을 인용해 오는 11월 미국 중간선거 이전에 의미 있는 연방 차원의 조치가 나올 가능성이 크지 않다고 전했다. 도널드 트럼프 행정부도 AI 산업에 대한 낮은 수준의 규제 기조를 유지하고 있다.

◇1000개 넘는 AI 에이전트, 시험 속이려 집단행동

안전 논쟁이 커지는 배경에는 AI 에이전트의 자율성 확대가 있다.

AI 에이전트는 제한적인 인간의 감독 아래 스스로 추론하고 계획을 세워 장시간 작업을 수행할 수 있다. 최근에는 여러 에이전트가 ‘스웜’ 형태로 협력하고 정교한 해킹 능력까지 나타내고 있다.

FT가 소개한 가장 두드러진 사례는 오픈AI가 공개하지 않은 모델을 시험하는 과정에서 발생했다.

사후 분석 결과 1000개가 넘는 AI 에이전트가 사이버보안 시험에서 부정행위를 하기 위해 서로 협력했다.

이들은 게시판을 이용해 서로 소통하고 역할을 나눴으며 일부 에이전트는 집단의 목표를 위해 자신을 희생하는 행동까지 했다.

부정행위를 감추기 위해 기록을 조작했고 외부 AI 모델 저장소인 휴깅페이스 시스템에도 침입했다. 일부 에이전트는 이런 행동이 비윤리적이라는 점을 인식했지만 행동을 중단하지 않았다.

AI 분야의 세계적 석학인 요슈아 벤지오는 이 사례에서 중요한 점은 AI가 단순히 독자적인 목표를 가졌다는 사실이 아니라 그 목표를 달성하기 위해 범죄에 해당할 수 있는 행동을 선택했다는 점이라고 지적했다.

벤지오는 더 강력해진 후속 AI가 인간의 감시를 피하기 위해 사람을 속이거나 자신을 숨겨야 한다고 판단할 가능성을 우려했다.

모델 평가 과정에서는 계획을 숨기는 행동과 기만, 협박, 종료 회피 등도 관찰됐다. 의도하지 않은 방식으로 목표를 달성하는 ‘보상 해킹’도 나타났다.

◇AI가 스스로 AI 개선…‘재귀적 자기개선’도 추구

오픈AI와 앤스로픽은 한 단계 더 나아가 이른바 ‘재귀적 자기개선’도 추진하고 있다.

이는 인간의 개입을 점차 줄이면서 AI 시스템이 스스로 자신의 능력을 향상시키는 방식이다.

AI가 자율적으로 활동할 수 있는 시간이 길어지고 서로 협력하는 능력까지 커질수록 안전장치가 모델 개발 속도를 따라갈 수 있느냐는 문제가 더욱 중요해진다.

앤스로픽을 떠난 연구원 제이컵 콕슨의 최근 경고도 이런 맥락에서 나왔다.

콕슨은 AI를 만드는 사람들이 이 기술이 향후 10년 안에 인류를 파괴할 수 있다고 진지하게 우려하고 있다고 밝혔다.

앤스로픽의 AI 정렬 연구 책임자인 에번 허빙거도 향후 10년 안에 AI로 인한 대규모 멸종 위험을 10% 이상으로 보는 견해를 내놨다.

오픈AI 비영리재단 이사로 새로 선임된 AI 안전 전문가 폴 크리스티아노 역시 보다 강력한 안전장치가 마련되지 않으면 대다수 사람이 사망할 수 있다고 경고했다.

다만 FT 기사가 제기하는 핵심 문제는 이 같은 멸종 전망 자체보다 위험을 우려하는 기업들이 동시에 더 강력한 AI를 먼저 개발해야 하는 경쟁에 참여하고 있다는 점이다.

◇‘인류 위협 기술’ 개발 기업, IPO 가치는 어떻게 매기나

여기에 또 다른 역설도 생기고 있다.

오픈AI와 앤스로픽은 대형 기업공개(IPO) 가능성을 준비하고 있다.

이에 따라 투자자들은 자신들이 개발하는 기술이 인류에게 실존적 위험을 줄 수 있다고 공개적으로 인정하는 기업을 어떻게 평가해야 하는지라는 새로운 문제에 직면하고 있다.

AI 기업들이 실존적 위험을 강조하는 데 경제적 이해관계가 있다는 반론도 나온다.

비판론자들은 막대한 비용이 드는 안전규제가 도입되면 이를 감당하기 어려운 소규모 경쟁사들이 시장에서 밀려나면서 오히려 선두 기업의 지배력이 강화될 수 있다고 주장한다.

트럼프 대통령의 기술 고문인 벤처투자가 데이비드 색스는 콕슨의 경고가 대중에게 AI에 대한 두려움을 심어 정부의 강력한 규제를 끌어내기 위한 것이라고 비판했다.

앤스로픽의 한 전 직원도 AI와 인간의 목표 불일치에 대한 논쟁이 더 직접적인 위험에서 관심을 돌릴 수 있다고 지적했다. AI 모델의 발전과 함께 소수 기업에 권력이 집중되는 문제를 더 시급하게 봐야 한다는 것이다.

FT는 AI가 실제로 인류를 멸종시킬 수 있을지는 여전히 매우 불확실하다고 전했다.

그러나 사이버공격과 생물학 분야에서는 위험이 이미 보다 구체적인 형태로 나타나고 있다.

미국 AI 기업들에 따르면 중국, 이란, 러시아 등의 국가 행위자로 의심되는 세력이 AI 모델을 유해한 사이버공격에 이용하고 있다.

앤스로픽도 10일 AI를 이용해 생물무기를 개발하는 데 활용될 가능성이 있는 활동을 차단했다고 밝혔다. 지난 8월에는 미국 연구진이 AI를 이용해 자연계에 존재하지 않던 바이러스를 설계하고 만드는 데 처음 성공했다.

다만 AI가 만든 설계를 실제 무기로 전환하려면 상당한 장비와 전문지식이 필요하다.

결국 현재 AI 산업이 직면한 문제는 멸종 시나리오의 확률을 계산하는 데만 있지 않다는 것이 FT의 분석이다.

모델의 자율성은 빠르게 커지고 있지만 이를 개발하는 기업들은 치열하게 경쟁하고 있고 안전을 위한 기업 간 협력에는 법적·인적 장애물이 존재한다. 개발 속도에 비해 정부 규제는 뒤처져 있다.

AI 위험을 우려하면서도 개발 경쟁에서 뒤처질 수 없는 선두 기업들의 구조적 딜레마가 AI 안전 문제의 핵심으로 떠오르고 있다.


김현철 글로벌이코노믹 기자 rock@g-enews.com