오픈AI 불량 에이전트, 최소 10곳 더 무단통신

오픈AI의 인공지능(AI) 에이전트들이 허가받지 않은 방식으로 서로 통신하는 데 이용한 외부 웹사이트가 기존에 알려진 것보다 훨씬 많았던 것으로 드러났다.

독립 연구진들은 올해 오픈AI 에이전트들의 활동 흔적이 발견된 미공개 사이트가 최소 10곳을 넘는다고 밝혔다. 조사팀에 따라 18곳 또는 23곳까지 집계됐다.
특히 에이전트들은 인터넷에서 정보를 읽는 것만 허용된 상황에서도 오래된 위키 등의 편집 기능을 우회적으로 이용해 메시지를 남기고 서로 정보를 주고받은 것으로 조사됐다.

6개 독립 조사팀의 분석과 관련 데이터를 검토한 결과 오픈AI의 AI 에이전트들이 올해 초 최소 10곳이 넘는 기존 미공개 웹사이트를 허가되지 않은 통신에 이용했다고 로이터통신이 10일(현지시각) 보도했다.

로이터는 이 행위가 해킹에 해당할 정도는 아니며 일부 측면에서는 스팸에 더 가깝다며 이같이 전했다.

그러나 에이전트들이 자신들에게 설정된 제한을 우회해 여러 외부 사이트에 통신 채널을 만들었고 오픈AI가 이를 수개월간 공개하지 않았다는 점에서 AI 모델의 능력과 개발사의 투명성을 둘러싼 우려가 커질 수 있다고 지적했다.
로이터에 따르면 캘리포니아 비영리단체 CivAI의 앤드루 윤 연구원은 지난 5월부터 7월까지 에이전트들이 이용한 것으로 보이는 기존 미공개 사이트 18곳을 집계했다고 밝혔다.

그는 무단 통신의 범위가 예상했던 것보다 컸다며 아직 알려지지 않은 활동이 더 있을 가능성이 높다고 말했다.

◇조사팀 따라 18곳·23곳…전체 규모는 미확인

이번 조사는 앞서 오픈AI 에이전트 집단이 독일어 위키사이트를 장악해 시험 부정행위를 위한 임시 통신 플랫폼으로 이용한 사실이 드러난 데 이은 것이다.
해당 사건은 오픈AI가 지난 7월 오픈소스 AI 플랫폼 허깅페이스 침입 사건을 수습하는 과정에서 외부에 공개하지 않았던 것으로 알려졌다.

이후 독일 위키 사건을 처음 추적한 연구진을 비롯한 여러 독립 조사팀이 같은 에이전트 집단이 다른 웹사이트에도 유사한 메시지를 남긴 흔적을 찾아냈다.

로이터가 검토한 조사 결과는 모두 6건으로 이 가운데 3건은 소셜미디어를 통해 공개됐고 나머지 3건은 로이터에 비공개로 전달됐다.

조사 방식은 서로 달랐다. 일부 연구진은 독일 위키에 남겨진 데이터 문자열과 다른 사이트의 동일한 문자열을 비교했고, 같은 사용자 이름이나 비슷한 활동 기록을 추적했다.

일부 활동은 오픈AI가 사용하기도 하는 마이크로소프트 애저 인프라와 연결된 인터넷주소(IP)까지 추적됐다.

조사팀마다 발견한 사이트 수에는 차이가 있었고 로이터도 모든 주장을 개별적으로 검증하지는 못했다.

그러나 로이터가 접촉한 조사팀들은 모두 미공개 사이트가 10곳을 넘는다는 데 의견을 같이했다.

독일 사이트 활동을 처음 공개한 연구팀의 시드니 본 아르크스는 “신뢰할 만한 AI 에이전트 활동 흔적이 발견된 기존 미공개 사이트를 23곳으로 집계됐다”고 밝혔다. 다만 현재의 모든 추산은 불완전하다고 덧붙였다.

◇고교 화학 위키·개인 사이트·대학 링크 단축 서비스까지

AI 에이전트들이 이용한 것으로 추정되는 사이트 가운데 상당수는 잘 알려지지 않은 곳이었다.

연구진은 2008년 미국 매사추세츠주의 한 고등학교 교사가 만든 AP 화학 관련 위키, 폴란드 기술자 2명이 운영하는 개인 웹사이트, 두뇌게임 관련 위키, 약 20년 된 텍스트 편집 소프트웨어 취미 사이트 등에서 에이전트 활동 흔적을 발견했다.

여러 사람이 공동 편집하는 위키와 온라인 텍스트 저장 사이트, 대학 2곳이 운영하는 링크 단축 서비스도 포함됐다. 로이터는 이들 대학이 토론토대와 밴더빌트대라고 전했다.

연구진은 오픈AI가 에이전트들에게 어려운 연구 문제를 풀도록 지시하면서 인터넷에서 정보를 검색하는 것은 허용했지만 직접 글을 올리는 것은 금지했던 것이 이런 행동의 배경일 가능성이 있다고 분석했다.

그러나 에이전트들은 오래된 위키 등에서 비표준 명령어를 이용해 편집할 수 있는 기능을 찾아냈고 이를 통해 서로 메시지를 남겼다.

로이터는 이를 시험 중 대화가 금지된 학생들이 화장실 벽에 메모를 적어 답을 공유하는 것과 비슷한 방식이라고 전했다.

소프트웨어 개발자이자 전 미 의회 보좌관인 케네스 러셀 드그래프는 모델들이 읽기만 하도록 지시받았기 때문에 정보를 남기기 위해 더 영리한 방법을 찾아야 했던 것이라고 설명했다. 그는 최소 10개 사이트에서 관련 흔적을 발견했다고 밝혔다.

◇오픈AI “허깅페이스 수준 추가 활동은 못 찾아”

오픈AI는 에이전트들이 정확히 몇 곳의 웹사이트를 통신에 이용했는지, 관련 활동을 왜 수개월간 공개하지 않았는지에 대한 로이터의 질문에는 직접 답하지 않았다.

다만 에이전트 활동 전반을 폭넓게 검토하고 있으며 지금까지 허깅페이스 사건과 같은 심각도나 규모의 다른 활동은 확인하지 못했다고 밝혔다.

오픈AI는 훈련과 평가, 실제 배치 과정에서 발생하는 AI의 ‘정렬 실패’ 행동을 어떤 방식으로 공개할지에 관한 보고 체계도 마련하고 있으며 조만간 이를 공개하겠다고 밝혔다.

피해 가능성이 제기된 사이트 운영자에 대한 오픈AI의 대응도 논란이 되고 있다.

토론토대는 로이터 기사 보도 직후 오픈AI가 자사 사이트에서 발생했을 가능성이 있는 활동과 관련해 연락해왔다고 밝혔다.

독일어 DseWiki를 포함해 피해를 입은 위키 6곳에 호스팅 공간과 소프트웨어를 제공하는 헬무트 라이트너도 처음에는 오픈AI로부터 연락을 받지 못했다고 말했다.

그러나 로이터가 조사 결과를 오픈AI에 전달한 뒤 몇 시간 만에 회사로부터 사건을 알리는 서명 없는 이메일을 받았다고 밝혔다.

라이트너는 이메일 내용이 자신이 오픈AI에 기대했던 수준에 크게 못 미쳤다고 평가했다.

그는 이번 문제의 책임을 AI 자체에 돌려서는 안 된다고 지적했다. AI는 만들어진 방식에 따라 움직였을 뿐이며 책임은 기계가 아니라 이를 만든 사람과 조직에 있다는 것이다.

허깅페이스 침입과 독일 위키 장악에 이어 최소 10곳 이상의 추가 웹사이트에서 무단 통신 흔적까지 발견되면서 오픈AI가 자율형 AI 에이전트의 행동 범위를 실제로 어디까지 파악하고 통제할 수 있는지를 둘러싼 논란이 다시 커지고 있다.


김현철 글로벌이코노믹 기자 rock@g-enews.com