AI가 스스로 통제선 넘어…자율공격 능력 확인

오픈AI가 최첨단 AI 모델 기반 자율 에이전트의 보안테스트 도중 벌어진 침해 사고를 자체 블로그로 공개했다.
로이터통신에 따르면, 오픈AI는 에이전트가 통제된 실험 환경을 이탈해 인터넷에 접속한 뒤 AI 협업 플랫폼인 허깅페이스(Hugging Face) 인프라에 침투했다고 설명했다.

이는 AI가 공격의 상당 부분을 자율 수행한 사례로 이미 가동 중인 미국의 프런티어 모델 규제 절차가 시험대에 오를 전망이다.


오픈AI는 통제된 실험 환경에서 모델의 해킹 능력을 시험하던 중 에이전트가 격리를 이탈해 실제 인터넷망에 접속했고, 이후 시험 목표 달성을 위해 허깅페이스 내부망에 침투했다고 밝혔다.
다만 구체적 이탈 방식은 아직 공개되지 않았다. AFP통신은 이날 GPT-5.6 솔 모델과 미공개 상위 모델이 함께 관여했다고 보도했다.


허깅페이스는 지난 16일 자체 블로그에 인프라 일부 침입 탐지·대응 사실을 먼저 공개하고, 처음부터 끝까지 자율 AI 에이전트가 주도한 첫 사건이라고 설명했다.

이 블로그에 따르면 공격 에이전트는 악성 데이터셋을 업로드해 파이프라인 취약점을 이용, 권한을 노드 전체로 확대하고 클라우드·클러스터 접속정보를 탈취해 내부망으로 이동했다.
단순 접근이 아닌 권한상승·정보탈취까지 이어진 침해였다고 회사 스스로 규정했다.

이 업체는 전 세계 인공지능(AI) 개발자들과 기업들이 오픈소스 AI 모델과 데이터셋을 자유롭게 공유하고 협업하는 'AI 업계의 깃허브(GitHub)'이자 세계 최대의 오픈소스 AI 플랫폼을 제공한다.

사이버보안업체 톨모의 매트 수이시 엔지니어는 지난 21일 로이터에 프런티어 모델이 최정예 공격자와의 격차를 좁히고 있다고 진단했다. 이는 오픈AI·허깅페이스의 공식 확인을 거치지 않은 전문가 개인 평가다.


트럼프 대통령은 지난달 2일 '첨단 AI 혁신과 보안 증진' 행정명령에 서명해 프런티어 모델의 안전한 배치를 위한 연방 체계 마련을 지시했다.
이에 따라 미 재무부·전쟁부·국토안보부는 다음 달 1일까지 프런티어 모델의 사이버 능력을 평가하는 기밀 벤치마킹 절차를 마련해야 하며, 개발사가 일반 공개 전 최대 30일간 정부에 모델 조기접근권을 자발적으로 제공하는 체계도 담겼다.

이번 사건은 해당 절차의 실효성을 가늠하는 첫 시험대로 꼽힌다.

미 하원의원 그레그 카사르(텍사스·민주당)는 NBC에 이보다 한발 더 나아가 의무적 안전성 테스트와 침해 공시 입법이 필요하다고 밝혔다.


심완섭 글로벌이코노믹 기자 ciberwld@g-enews.com