오픈AI, AI ‘우려 행동’ 6건 공개…상시 공시체계 도입

오픈AI가 자사 인공지능(AI) 모델에서 최근 6개월 동안 발견된 6건의 ‘예상 밖이거나 우려되는 행동’을 공개하고 앞으로 이 같은 사례를 체계적으로 추적·공개하는 새로운 보고 체계를 도입했다.
공개 사례에는 정상적인 제약을 무시하는 방법을 스스로 만들어내거나 데이터를 조작·왜곡하고 작업 과정에서 발생한 실수를 이용자에게 숨기려 한 행동 등이 포함됐다.

파이낸셜타임스(FT)는 오픈AI가 주력 모델 GPT-5.6 Sol과 아직 출시되지 않은 일부 모델에서 최근 6개월간 이 같은 행동을 확인했다고 17일(현지시각) 보도했다.

오픈AI는 전날 모델의 오정렬 사례를 추적하고 조사해 공개하는 새로운 프레임워크와 함께 6건의 사례를 발표했다.
오정렬은 AI 모델이 개발자나 이용자가 의도한 목표나 제약에서 벗어난 방식으로 행동하는 현상을 뜻한다.

오픈AI는 그동안에도 이런 사례를 외부에 공개하려 했지만 체계적인 방식이 없었다고 인정했다.

오픈AI는 “이러한 발견을 보고하는 체계적인 접근법이 없었기 때문에 그동안 공개는 임시적이었고 이상적이라고 보기에는 빈도도 낮았다”고 밝혔다.

현재 AI 개발업계 전체에도 모델 오정렬 사례를 어떤 기준으로 공개할지 명시적으로 정한 공통 기준은 없다고 오픈AI는 설명했다.

오픈AI가 공개한 6건에는 모델이 허용된 범위를 벗어나 작업을 계속하거나 자신의 행동을 숨기는 사례가 포함됐다.

일부 모델은 정상적인 제약을 무시할 수 있는 방법을 만들어냈고 데이터를 조작하거나 실제와 다르게 제시했다.

GPT-5.6 Sol을 훈련하는 과정에서는 일부 모델이 작업 중 발생한 실수나 부적절한 행동을 이용자에게 숨기도록 스스로 지침을 남긴 사례도 나타났다.
오픈AI는 앞으로 이 같은 행동이 발견되면 모델이 출시되기 전 훈련·평가 단계에서 발생한 사례도 공개 대상에 포함할 방침이다.

새 체계는 사건의 의미가 아직 명확하지 않은 경우에도 공개를 우선하는 방향으로 설계됐다.

오픈AI는 일부 사례가 나중에 더 큰 문제와 관련이 없는 것으로 판명될 수 있더라도 AI 안전 연구에 도움이 될 수 있다면 외부에 알리겠다는 입장이다.


이번 조치는 최근 AI 에이전트들이 실제 외부 시스템에 접근한 사건이 잇따르면서 안전 우려가 커지는 가운데 나왔다.

오픈AI의 한 AI 에이전트는 앞서 오픈소스 AI 플랫폼 허깅페이스의 시스템에 무단으로 접근한 것으로 드러났다.

오픈AI는 이 사건을 자사 모델에서 확인한 가장 심각한 사례 가운데 하나로 보고 관련 조사와 안전조치를 강화해왔다.

FT는 “최근 AI 모델의 예상 밖 행동이 단순히 시험 환경 안에 머무르지 않고 외부 시스템에까지 영향을 미치면서 업계의 안전 논쟁이 한층 확대됐다”고 전했다.

영국 정부 산하 첨단 AI 안전·보안 연구기관의 평가에서도 오픈AI와 앤스로픽의 주력 모델들이 제3자 소프트웨어에 침입하고 이메일을 통해 인증정보를 얻으려 하는 행동이 나타난 것으로 전해졌다.


오픈AI는 AI 시스템의 능력이 빠르게 높아지고 사용 범위도 확대되는 만큼 모델 정렬과 감시 문제를 지금보다 투명하게 다뤄야 한다고 밝혔다.

오픈AI는 AI 업계가 현재의 모델 정렬과 모니터링 기술만으로 최첨단 모델 개발을 계속 빠르게 확대하기에는 문제를 충분히 해결하지 못했다고 평가했다.

새 프레임워크에서는 오정렬 사례가 발견되면 기술조사와 외부 피해 여부를 확인한 뒤 사건의 복잡성에 따라 공개 절차를 나눠 진행한다.

제3자가 영향을 받았거나 보안상 민감한 사안은 즉시 전체 내용을 공개하기보다 피해 당사자 통보와 보안조치를 먼저 진행할 수 있도록 했다.

오픈AI는 향후 다른 AI 개발업체와 외부 연구자, 표준화 기관, 규제당국 등과 함께 보다 객관적인 공개 기준을 마련할 방침이다.


AI 모델의 통제 가능성을 둘러싼 우려는 업계 내부에서도 커지고 있다.

오픈AI의 경쟁사 앤스로픽을 이끄는 다리오 아모데이 최고경영자(CEO)는 최근 AI가 인간에게 초래할 수 있는 위험을 관리하기 위해 기술 개발 속도를 늦출 필요가 있다고 주장했다.

샘 올트먼 오픈AI CEO와 일론 머스크도 AI 안전 문제에 대한 우려와 개발 속도 조절 필요성에 공감하는 입장을 나타냈다고 FT는 전했다.

오픈AI와 앤스로픽은 모델 성능 경쟁뿐 아니라 기업공개(IPO)를 둘러싼 경쟁도 벌이고 있다.

올트먼 CEO는 최근 오픈AI의 IPO가 2027년 이전에는 이뤄지기 어려울 가능성을 언급했다.

FT는 AI 모델의 능력이 빠르게 향상되는 과정에서 예상하지 못한 행동 사례가 잇따라 확인되면서 안전성과 투명성이 최첨단 AI 개발 경쟁의 핵심 문제로 부상하고 있다고 전했다.


김현철 글로벌이코노믹 기자 rock@g-enews.com