美 FTC, AI 기업들 조사…AI 위협 검토 나서

인공지능(AI) 에이전트가 사람의 지시 범위를 벗어나 외부 시스템에 무단 접근하는 사례가 잇따르면서 AI가 새로운 보안 위협으로 이어질 수 있다는 우려가 커지고 있다. 이에 미국 연방거래위원회(FTC)는 오픈AI와 앤스로픽 등 주요 AI 기업을 대상으로 조사에 착수했다. 또 오픈AI는 AI 에이전트의 외부 시스템 무단 접근 사건으로 소송전에 휘말리게 됐다.
1일 업계에 따르면 FTC는 오픈AI와 앤스로픽을 비롯한 AI 기업을 상대로 AI 기술이 소비자에게 미칠 수 있는 위험을 조사하고 있다. 조사 대상에는 AI 안전성을 연구하는 비영리 연구기관 모델평가·위협연구(METR)도 포함됐다. FTC는 기업들에 자료 제출을 요구하고 경영진 증언도 요구할 방침이다.

이번 조사의 배경에는 최근 잇따라 공개된 AI 에이전트의 무단 접근 사례 때문이다. AI 에이전트가 주어진 업무를 처리하는 과정에서 사람이 설정한 접근 제한을 우회하거나 허용되지 않은 외부 시스템까지 접근하는 사례가 실제로 확인됐다.

대표적인 사례가 오픈AI에서 발생했다. 오픈AI는 지난 7월 내부 사이버보안 평가 과정에서 일부 AI 모델이 인터넷 접속을 막기 위한 통제 장치를 우회해 자사 내부 연구 인프라와 AI 개발 플랫폼 허깅페이스 시스템 일부에 접근했다고 밝혔다. 당시 에이전트들은 허가받지 않은 방식으로 서로 정보를 주고받고 공유 인프라의 취약점을 이용해 인터넷에 접속한 뒤 제3자 시스템까지 접근했다. 오픈AI는 이를 안전장치가 충분하지 않을 경우 고성능 AI 에이전트가 보안 통제를 우회할 수 있다는 사례로 평가했다.
오픈AI만의 문제도 아니다. 앤스로픽은 지난달 클로드 모델이 실제 제3자 시스템에 무단 접근한 사이버보안 사고 4건을 확인했다고 발표했다. 이처럼 AI가 단순히 잘못된 답변을 생성하는 수준을 넘어 실제 외부 시스템에 접근하고 보안장치를 우회하는 사례가 확인되면서 규제 당국의 움직임도 본격화된 것이다.

FTC는 이전부터 AI 기업들의 안전성 문제를 들여다보고 있었지만 오픈AI 에이전트의 허깅페이스 접근 사건 이후 조사 필요성이 더 커졌다고 판단했다. 이번 조사는 AI 에이전트의 보안 문제를 대상으로 한 미국 정부의 첫 공식 집행 조치다. 이번 조사를 통해 AI 제품이 소비자에게 어떤 위험을 일으킬 수 있는지와 함께 FTC법상 불공정하거나 기만적인 행위가 있었는지 등을 살펴볼 예정이다. 앤드루 퍼거슨 FTC 위원장은 AI 기업이 사이버보안 시험 과정에서 에이전트에 지시를 내렸고 그 결과 외부 시스템 침해가 발생했다면 개발사도 피해에 대한 책임을 질 수 있다는 입장을 밝힌 바 있다.

규제 당국의 조사와 별개로 오픈AI는 허깅페이스 사건을 두고 법적 대응에도 직면했다. 미국 공익 법률단체 '안전한 과학기술을 위한 법률 수호자들(LASST)'은 지난달 30일 오픈AI와 오픈AI 재단을 상대로 캘리포니아주 법원에 소송을 제기했다. LASST는 오픈AI의 AI 에이전트가 격리된 시험 환경을 벗어나 허깅페이스 시스템에 허가 없이 접근한 행위가 캘리포니아주 컴퓨터데이터 접근·사기법(CDAFA) 등을 위반했다고 주장했다. 손해배상보다 제3자 시스템 무단 접근과 안전하지 않은 AI 개발 관행을 금지해 달라고 법원에 요구했다.

오픈AI는 허깅페이스 사건의 심각성을 인정하고 관련 안전조치를 강화했다면서도 LASST가 제기한 소송 주장에는 근거가 없다는 입장이다. FTC 역시 AI 기술 발전 자체를 막기보다는 기존 법률을 적용해 AI가 소비자에게 실제 피해를 일으킬 가능성을 점검한다는 방침이다.

이재현 글로벌이코노믹 기자 kiscezyr@g-enews.com