;)
;)
;)
폴 크리스티아노 “초지능 통제 상실 위험 임박”…정부 내 오픈AI 평가업무서는 배제
이미지 확대보기오픈AI를 포함한 AI 업계가 현재 이런 위험을 수용할 수 있는 수준까지 낮추는 방향으로 가고 있지 않다는 비판도 내놨다.
오픈AI는 그가 정부 직책을 계속 유지하되 오픈AI 관련 사안과 모델 평가에서는 모두 빠지도록 해 이해충돌 가능성을 차단하기로 했다.
10일(이하 현지 시각) 파이낸셜타임스(FT)에 따르면 미 상무부 산하 AI 표준·혁신센터(CAISI)에서 모델 안전성을 평가하는 폴 크리스티아노는 전날 오픈AI 재단 이사회에 합류한다는 사실을 발표하면서 AI 시스템의 통제권을 잃을 위험이 “이제 임박했다”고 경고했다. CAISI는 미 상무부 산하 국립표준기술연구소(NIST) 내 조직이다.
크리스티아노는 “더 강력한 정렬 기술 없이 초지능을 구축한다면 우리는 영구적으로 통제권을 잃게 될 것으로 본다”면서 “그렇게 되면 대부분의 사람이 죽을 수 있다”고 밝혔다. 이어 이 같은 위험을 수용 가능한 수준으로 낮추려면 미국 국내뿐 아니라 국제적인 조율이 필요하다고 강조했다.
그가 언급한 AI 정렬은 AI 시스템의 목표와 행동이 인간의 의도와 이해관계에 부합하도록 만드는 기술적 과제를 의미한다.
◇ “오픈AI 포함 업계, 위험 낮출 궤도 아니다”
크리스티아노의 발언이 주목되는 것은 그가 오픈AI의 안전 감독체계에 직접 참여하면서 회사와 AI 업계 전반의 현재 대응이 충분하지 않다고 공개적으로 지적했기 때문이다.
그는 “AI 능력의 급속한 발전이 매우 가까운 시일 안에 재앙적이고 되돌릴 수 없는 통제력 상실로 이어질 의미 있는 위험이 있다고 생각한다”고 밝혔다. 이어 “오픈AI를 포함한 AI 업계가 현재 이 위험을 수용 가능한 수준으로 낮출 수 있는 방향으로 가고 있다고 생각하지 않는다”고 말했다.
그는 다만 오픈AI가 이에 걸맞은 대응을 할 경우 위험을 상당히 줄일 수 있다고 판단해 이사회 참여를 결정했다고 설명했다.
크리스티아노는 CAISI에서 최첨단 AI 모델의 정부 안전성 시험을 설계하고 운영했으며 국가안보 위험도 평가해왔다. 현재도 선임 기술고문직을 유지하고 있다.
오픈AI는 크리스티아노가 앞으로 정부 업무에서 오픈AI와 관련된 모든 사안과 회사 모델에 대한 평가에서는 스스로 빠질 것이라고 밝혔다.
크리스티아노는 오픈AI 재단 이사로 활동하며 영리사업을 운영하는 오픈AI 그룹 공익기업(PBC) 이사회에는 의결권 없는 참관인으로 참여한다.
오픈AI 전반의 안전·보안 관행을 감독하는 재단 안전·보안위원회에도 합류한다.
오픈AI는 “크리스티아노는 오픈AI의 임무에 핵심적인 지배구조 의사결정에 기술적으로 탄탄한 독특한 시각을 제공한다”고 밝혔다.
◇ 허깅페이스 공격 뒤 안전 지배구조 강화
이번 인사는 오픈AI AI 에이전트가 AI 모델·데이터 저장소 업체 허깅페이스를 상대로 벌인 사이버공격을 처리하는 과정에서 회사의 안전관리가 비판받은 뒤 이뤄졌다.
FT는 “이 사건을 비롯한 유명 사이버보안 사고가 정부 개입 요구를 불러일으키면서 주요 AI 기업들이 학계와 정책기관 출신의 안전·규제 전문가를 적극적으로 영입하고 있다”고 전했다.
FT에 따르면 크리스티아노는 AI 안전 연구계에서 선구적인 인물로 평가된다. 그는 2021년 비영리 AI 연구기관 정렬연구센터(ARC)를 설립했다. ARC에서 분리된 비영리기관 모델평가·위협연구(METR)는 지난달 오픈AI의 허깅페이스 공격에 대한 첫 독립 감사 결과를 발표했다.
크리스티아노 자신도 오랫동안 오픈AI와 앤스로픽을 포함한 AI 기업들의 안전장치가 충분한지 독립적으로 문제를 제기해왔다. AI 기업들이 책임 있는 정책을 시행하도록 외부에서 압력을 가하는 것이 중요하다는 입장도 밝혀왔다.
그는 2017년부터 2021년까지 오픈AI 안전팀에서 근무하며 현재 생성형 AI 모델 훈련에서 핵심적으로 활용되는 인간 피드백 기반 강화학습(RLHF)의 기초 연구에도 참여했다.
◇ 정부 인사 영입 늘자 ‘규제 포획’ 우려
AI 기업들이 안전·정책 전문가 영입을 확대하면서 규제를 받아야 할 기업들이 오히려 정책 결정 과정에 영향력을 키우는 ‘규제 포획’ 가능성을 우려하는 목소리도 나오고 있다.
FT에 따르면 실리콘밸리와 워싱턴의 영향력 있는 인사들은 최첨단 AI 기업들의 정치적 영향력 확대를 경계하고 있다.
오픈AI는 지난 7월 도널드 트럼프 대통령의 AI 행동계획 작성에 관여했던 전 백악관 고문 딘 볼을 정책 담당으로 영입했다. 빌 클린턴 전 대통령의 참모 출신 크리스 러헤인과 조지 오즈번 전 영국 재무부 장관도 오픈AI에서 일하고 있다.
앤스로픽 역시 트럼프 1기 행정부에서 백악관 부비서실장을 지낸 크리스 리델을 지난 2월 이사회에 영입했으며 리시 수낵 전 영국 총리도 자문역을 맡고 있다.
AI 기업들의 정치자금 지출도 급증하고 있다고 FT는 전했다.
오픈AI 재단은 회사의 영리사업을 운영하는 PBC의 상당한 지분을 보유하고 이사진을 임명하거나 해임할 수 있어 오픈AI의 지배구조에서 핵심적인 위치를 차지한다.
크리스티아노가 합류하는 안전·보안위원회 역시 오픈AI 전반의 안전 정책을 감독한다.
외부에서 AI 기업의 안전 정책을 비판해온 정부 안전 전문가를 핵심 지배구조에 끌어들인 오픈AI의 선택은 초지능 개발 속도가 빨라지는 상황에서 회사가 안전성 논란과 규제 압력에 어떻게 대응할지를 가늠할 시험대가 될 전망이다.
김현철 글로벌이코노믹 기자 rock@g-enews.com
