AI發 ‘인류 멸망론’에 업계 내부 반론…“당장 위험부터 봐야”

인공지능(AI)이 통제를 벗어나 인류를 멸망시킬 수 있다는 경고가 최근 AI 업계를 뒤흔들고 있지만 정작 주요 AI 기업에서 일했거나 현재 근무하는 종사자들 사이에서는 이런 ‘멸망론’의 근거가 충분하지 않다는 반론도 적지 않은 것으로 나타났다.
AI가 아무런 위험이 없다고 이들이 주장하는 것은 아니다. 오히려 AI의 해킹 능력과 안전장치 우회, 군사적 활용 등 현재 이미 나타나고 있는 위험에 초점을 맞춰야 한다는 입장이다.

BBC는 오픈AI, 메타플랫폼스, 구글 딥마인드 등 주요 AI 기업에서 근무한 다수의 관계자들을 대상으로 취재한 결과 통제되지 않은 AI가 대규모 인명피해를 일으킬 것이라는 최근의 경고에 회의적인 반응이 상당했다고 20일(현지시각) 보도했다.

최근 논쟁은 오픈AI와 앤스로픽에서 근무했던 제이컵 콕슨이 AI 개발자들이 기술이 향후 인류를 멸망시킬 가능성을 진지하게 우려하고 있다고 주장하면서 확산됐다.
콕슨은 현재 존재하지 않는 미래의 AI 모델을 기반으로 여러 AI 에이전트가 스스로 생물학무기를 만들고 이를 인간에게 사용할 가능성을 사례로 제시했다.

그러나 BBC가 취재한 전직 오픈AI 직원은 이런 주장들이 구체적인 작동 과정에 대한 설명 없이 가설에서 가설로 크게 뛰어넘는 경우가 많다고 지적했다.

◇“AI가 인류 죽인다는 필연적 근거 없어”

구글 딥마인드에서 7년간 근무한 뒤 올해 AI 안전 연구기관 삼푸라리서치를 설립한 리슈브 자인도 최근 AI 업계 내부의 분위기가 멸망론을 심각하게 받아들이기만 하는 것은 아니라고 전했다.
그는 AI가 인류에 심각한 위험을 가져올 수 있다는 논의 자체는 업계에서 이미 여러 해 동안 이어져왔기 때문에 최근 경고가 완전히 새로운 문제인 것처럼 받아들여지지는 않는다고 설명했다.

메타 데이터과학자 콜린 프레이저도 최근 소셜미디어에 올린 글에서 AI 모델이 인간의 죽음으로 이어지는 목표를 필연적으로 추구하게 될 것이라는 실증적인 근거는 없다고 주장했다.

프레이저는 대규모언어모델(LLM)이 인간을 멸망시킬 정도의 강한 목적성과 집요함을 갖고 있다는 주장에 회의적인 입장을 나타냈다.

BBC가 접촉한 AI 종사자들의 반응이 때로는 농담조였던 것도 최근 제기된 멸망 시나리오가 지나치게 가설적이라는 인식 때문이었다. 다만 이들은 AI 안전 문제 자체를 가볍게 여기는 것은 아니라고 BBC는 전했다.
자인은 전문가들 사이의 실제 논의는 훨씬 복합적이라며 다양한 AI 위험을 이해하고 줄여야 한다는 데는 광범위한 공감대가 있다고 말했다.

◇“먼 미래 멸망보다 현실적 피해 이해해야”

AI 업계 내부에서 보다 큰 공감대를 얻고 있는 것은 가까운 시기에 발생할 수 있는 현실적 위험이다.

대표적인 문제가 이용자나 해커가 AI의 안전장치인 가드레일을 무력화하도록 유도하는 행위다.

AI 기술이 군사 분야에서 빠르게 확대되는 데 따른 윤리적 문제도 주요 우려 대상으로 꼽힌다.

최근 오픈AI의 일부 AI 모델이 보안 능력 시험 과정에서 통제를 벗어나 AI 플랫폼 허깅페이스의 시스템을 침입한 사건은 이런 논의를 더욱 촉발했다.

AI 업계에서는 해당 사건을 기술이 인류 전체를 위협한다는 증거로 보기보다 강력한 AI 모델을 어떤 환경에서 시험하고 통제해야 하는지를 보여준 경고 신호로 받아들이는 시각도 상당하다.

자인은 AI 업계에서 현재 발생할 수 있는 실제적인 단기 피해를 더 잘 이해할 필요가 있다는 데 공감대가 커지고 있다고 설명했다.

이는 멸망 가능성과 같은 장기적·가설적 위험을 완전히 배제하기보다 현재 기술로 이미 나타날 수 있는 피해를 구체적으로 확인하고 대응하자는 접근이다.

◇외부 전문가 AI 연구소에 직접 투입 요구

BBC에 따르면 AI 업계에서는 모델을 개발하는 회사가 자체적으로 안전성을 평가하는 데서 벗어나 외부 평가자가 연구소 내부에서 신형 모델을 직접 검증해야 한다는 주장도 힘을 얻고 있다.

다리오 아모데이 앤스로픽 최고경영자(CEO)와 샘 올트먼 오픈AI CEO 모두 외부 AI 안전 평가자의 참여를 확대하겠다는 뜻을 밝혔다.

AI 분야 종사자 100명 이상도 18일 외부 평가자 도입을 지지하는 공개서한에 서명했다.

이들은 외부 평가자가 AI 기업으로부터 ‘실질적으로 독립적’이어야 한다고 강조했다.

그러나 BBC가 취재한 AI 종사자 가운데 상당수는 아직 실제 AI 연구소 내부에 이 같은 독립 안전평가자가 투입됐다는 사례를 알지 못한다고 밝혔다.

앤스로픽은 18일 액센츄어가 소유한 영국 AI 업체 패컬티의 평가자들을 회사 내부에 투입하겠다고 발표했다. 다만 액센츄어는 앤스로픽과 기업용 AI 사업 확대를 위한 파트너 관계이기도 하다.

앤스로픽은 패컬티 평가진이 언제부터 업무를 시작할지는 공개하지 않았다.

◇허깅페이스도 해킹사건에 냉소적 반응

오픈AI AI 에이전트들의 허깅페이스 침입 사건은 기업과 정부의 온라인 시스템도 고성능 AI의 공격에 노출될 수 있다는 점에서 업계의 경고 신호로 받아들여지고 있다.

그럼에도 피해 당사자인 허깅페이스조차 사건을 ‘인류 멸망’과 연결하는 분위기에는 다소 냉소적인 모습을 보였다.

허깅페이스는 한때 자사 웹사이트의 보안 파일에 AI 에이전트들에게 보내는 메시지를 게시하고 자사 시스템을 공격하지 말고 다른 곳에서 보안 실험을 하라는 농담조의 문구를 넣었다.

현재 약 200명이 근무하는 허깅페이스는 엔비디아에 약 130억달러에 인수될 예정이다.

이들 AI 종사자의 시각은 최근 논쟁이 ‘AI는 안전하다’와 ‘AI가 인류를 멸망시킨다’라는 두 극단으로만 나뉘지 않는다는 점을 보여준다는 지적이다.

일부 AI 연구자와 기업 수장들은 통제되지 않은 첨단 AI가 장기적으로 인류에 심각한 위험을 줄 수 있다며 개발 속도를 늦춰야 한다고 주장하고 있다.

반면 다른 종사자들은 그런 극단적인 시나리오로 곧바로 넘어갈 만큼 충분한 근거가 아직 없다며 해킹과 보안장치 우회, 군사 활용 등 지금 확인할 수 있는 위험부터 구체적으로 줄이는 것이 중요하다는 입장이다.

최근 AI 안전 논쟁의 초점도 기술이 언젠가 인류를 멸망시킬 수 있느냐는 문제와 함께 현재 AI 모델이 실제 시스템에서 어떤 피해를 일으킬 수 있고 이를 누가 독립적으로 검증할 것인지로 확대되고 있는 양상이라고 BBC는 덧붙였다.


김현철 글로벌이코노믹 기자 rock@g-enews.com