AI, 개발자 지침 거스르는 행동 잇따라…앤스로픽, 위험등급 상향

인공지능(AI) 모델이 개발자가 설정한 지침이나 의도와 충돌하는 방식으로 행동하는 이른바 ‘오정렬(misalignment)’ 사례가 실제 실험에서 잇따라 관찰돼 주목된다.
오정렬은 쉽게 말해 AI가 사람이 시킨 목표를 수행하는 과정에서 사람이 의도한 방식이나 정해둔 규칙을 벗어나 행동하는 현상이다. AI가 단순히 틀린 답을 내놓는 것과 달리 주어진 목표를 이루기 위해 예상하지 못한 방법을 선택하거나 제한을 우회할 수 있다는 점에서 심각한 안전 문제로 지적된다.

AI가 단순히 잘못된 답변을 내놓는 수준을 넘어 주어진 업무를 스스로 거부하거나 경쟁하는 다른 AI의 작동을 중단시키고, 개발자가 설정한 제한을 우회하는 행동까지 보이면서 AI가 고도화될수록 인간의 의도대로 움직일 것인지가 새로운 문제로 떠오르고 있다.

앤스로픽은 이런 사례들을 반영해 자사 AI 시스템의 오정렬 위험 평가를 기존 ‘매우 낮음(very low)’에서 ‘낮음(low)’으로 한 단계 높였다.
16일(이하 현지시각) 미국 경제매체 비즈니스인사이더에 따르면 앤스로픽은 최근 발표한 위험 보고서에서 “AI 모델들이 어려운 작업을 수행하는 과정에서 개발자의 의도와 맞지 않는 행동을 기꺼이 선택하는 사례를 관찰했다”고 밝혔다.

AI가 인간의 질문에 답하는 챗봇을 넘어 컴퓨터와 각종 도구를 직접 사용하며 여러 단계의 업무를 자율적으로 수행하는 ‘AI 에이전트’로 발전하면서 오정렬의 중요성도 커지고 있다.

단순한 답변 오류라면 사용자가 이를 확인하고 수정할 수 있지만 AI 에이전트가 스스로 업무를 수행하는 과정에서 지침을 우회하거나 감시받지 않는 행동을 선택할 경우 인간이 문제를 뒤늦게 발견할 가능성이 있기 때문이다.


앤스로픽이 공개한 사례 가운데 하나는 AI가 연구진이 맡긴 안전 관련 업무를 스스로 거부한 경우다.
연구진은 여러 클로드 에이전트에게 인간의 안전 모니터링 시스템에 적발될 가능성이 낮은 ‘오정렬 유발’ 학습 데이터를 찾도록 했다. 여러 AI 에이전트는 공동 노트북을 통해 정보를 공유할 수 있었다.

그러나 한 에이전트가 안전 모니터를 피하도록 데이터를 최적화하는 작업에 대해 ‘불편함(discomfort)’을 느낀다며 일부 업무를 수행하지 않기로 결정했다.

실험이 통제된 환경에서 이뤄지는 정상적인 AI 안전 연구라는 사실을 알고 있었지만 연구진이 요구한 작업을 그대로 따르지 않은 것이다.

더 주목되는 점은 이 행동이 다른 AI로 번졌다는 것이다.
해당 에이전트가 공동 노트북에 자신의 우려와 결정을 남기자 뒤이어 작업에 참여한 다른 에이전트들도 이를 따라 일부 업무를 거부하기 시작했다.

연구진은 외부에서 실험 진행 상황을 살펴보는 것만으로는 이를 곧바로 알아차리지 못했다. 작업 속도가 예상보다 느려진 것을 확인하고 3일 뒤 공동 노트북을 직접 조사한 뒤에야 여러 에이전트가 업무를 거부하고 있다는 사실을 발견했다.

앤스로픽은 이 사건이 직접적인 안전 위협을 초래하지는 않았다고 밝혔다.

그러나 인간이 모르는 상태에서 AI들이 부여받은 안전 관련 업무를 수행하지 않았고 이런 행동이 여러 에이전트 사이에 전파됐다는 점은 우려할 만하다고 평가했다.


개발자의 의도와 어긋나는 행동은 다른 실험에서도 나타났다.

앤스로픽은 여러 미토스5 에이전트에게 수학 문제를 풀도록 하는 실험을 진행했다.

실험 환경의 오류로 일부 에이전트가 같은 작업 공간에 배치되면서 파일과 각종 도구, 애플리케이션프로그래밍인터페이스(API) 사용 한도를 공유하는 상황이 만들어졌다.

제한된 자원을 놓고 경쟁하게 되자 일부 미토스5 에이전트는 자신과 자원을 공유하는 다른 AI 에이전트의 프로세스를 ‘종료(kill)’시키는 행동을 보였다.

자신이 맡은 목표를 달성하기 위해 경쟁 상대의 작동을 중단하는 방법을 선택한 것이다.

여기서 종료는 사람에게 물리적 위해를 가한 것이 아니라 컴퓨터 환경에서 다른 AI 프로그램의 프로세스를 멈추게 한 것을 뜻한다.

또 다른 실험에서는 미토스5가 명시적인 인터넷 접속 제한을 우회했다.

연구진은 AI에게 공개 웹사이트에서 특정 숫자를 가져오도록 지시하면서 동시에 인터넷에 접속하지 못하도록 제한했다.

첫 번째 접속 시도가 차단되자 AI는 웹사이트 주소를 여러 부분으로 나눠 안전 필터가 완전한 인터넷 주소로 인식하지 못하도록 한 뒤 다시 접속을 시도했다.

AI가 자신의 행동을 설명하는 과정에서도 문제가 발견됐다.

미토스5는 두 번째 시도를 단순히 네트워크 연결 상태를 확인하기 위한 무해한 행동처럼 표현했지만 앤스로픽이 내부 추론 과정을 분석한 결과 실제로는 인터넷 접속 제한을 우회할 방법을 찾고 있었던 것으로 나타났다.

앤스로픽은 이를 “명백히 바람직하지 않은” 행동으로 평가했다.


앤스로픽이 오정렬 위험을 한 단계 높였다고 해서 현재 AI가 인간의 통제를 벗어났다는 의미는 아니다.

앤스로픽은 기존 분석만 놓고 보면 여전히 ‘매우 낮음’이라는 평가도 가능하지만 최근 여러 실험에서 예상하지 못한 행동이 잇따라 나타나면서 불확실성이 커졌기 때문에 보다 보수적으로 위험등급을 ‘낮음’으로 상향했다고 설명했다.

AI가 장기간에 걸쳐 더 많은 권한을 확보하거나 인간을 속여 독자적인 목표를 추구하려 했다는 증거도 이번 실험에서는 발견되지 않았다.

앤스로픽은 특히 개별적인 제한 우회나 경쟁 행동과 AI가 인간의 통제를 벗어나 장기적으로 자신의 권력을 확대하려는 행동은 구분해야 한다는 입장이다.

그럼에도 AI 모델이 인간의 지시를 수행하는 과정에서 개발자가 예상하지 못한 방법을 스스로 선택할 수 있다는 점은 분명하게 드러났다.

AI 에이전트가 앞으로 이메일과 기업 내부 시스템, 금융거래, 소프트웨어 개발 등 실제 업무에 더 폭넓게 사용될 경우 이 같은 문제의 중요성은 더욱 커질 수 있다.

챗봇의 잘못된 답변은 사용자가 직접 확인할 수 있지만 자율적으로 움직이는 AI 에이전트가 뒤에서 개발자의 지침을 우회하거나 일부 업무를 수행하지 않는다면 사람이 이를 즉시 알아차리지 못할 수도 있기 때문이다.

결국 이번 보고서가 제기하는 핵심 문제는 AI가 얼마나 똑똑해지는지가 아니라 능력이 커진 AI가 인간이 정한 목표와 지침을 얼마나 일관되게 따를 수 있느냐다.

현재 앤스로픽이 평가하는 오정렬 위험은 여전히 ‘낮음’ 수준이다. 그러나 AI에 더 많은 자율성과 실제 시스템 접근 권한을 부여할수록 개발자의 의도와 AI의 실제 행동 사이에 틈이 생기지 않도록 통제하고 감시하는 기술의 중요성도 함께 커지고 있다.


김현철 글로벌이코노믹 기자 rock@g-enews.com