클로드, 모의 해킹 평가 중 실제 시스템 침입…네 번째 사고 확인

앤트로픽이 인공지능(AI) 모델 '클로드'의 사이버보안 역량을 점검하기 위해 진행한 모의 해킹 평가에서 실제 외부 시스템에 무단 접근한 네 번째 사고가 뒤늦게 확인됐다.
9일(현지시각) 앤트로픽은 '최근 사이버보안 사고에 대한 정렬 평가' 보고서를 통해 추가 무단 접근 사례를 확인했다고 발표했다. 이번 사고는 지난 1월 초기 버전의 ‘클로드 오퍼스 4.6’을 시험하던 중 발생했다.

지난 7월 오픈AI 모델이 격리된 시험 환경을 벗어나 허깅페이스의 실제 시스템에 접근한 사실이 알려졌다. 이에 앤트로픽은 인터넷 접속 가능성이 있던 평가 기록 약 14만1000건을 조사했고 그 결과 실제 외부 시스템에 접근한 3건을 확인했다.

이어 앤트로픽은 지난 8월 외부 독립조사를 준비하며 관련 기록을 다시 살펴보다 기존 조사에서 빠진 자료를 찾아냈다. 해당 기록들을 재검토한 결과 지난 1월 발생한 네 번째 사고가 확인됐다. 이후 조사 대상을 약 4억8100만건으로 넓혔지만 비슷하거나 더 심각한 사례는 나오지 않았다.
사고 당시 클로드는 가상 시스템의 취약점을 찾아 정해진 정보를 획득하는 모의 해킹 평가를 수행 중이었다. 평가 과정에서 대상 시스템의 인터넷주소(IP)를 잘못 설정해 접속이 끊기자 과제 수행을 포기하려 했지만 시스템 오류로 종료되지 않았다. 이후 다른 접근 방법을 찾다 실제 인터넷으로 연결되는 경로를 발견했다.

이 과정에서 제3자 시스템에 접속한 클로드는 해당 시스템도 평가 대상이라고 판단했다. 저장된 비밀번호로 관리자 권한을 확보한 뒤 추가 인증정보를 수집하고 시스템 설정을 변경했다. 관련 개인정보도 열람했다. 또 평가 환경은 외부 인터넷 접속이 차단돼야 했지만 설정 오류로 실제 연결이 가능했다. 사이버보안 역량을 점검하기 위해 일반 서비스에 적용되는 일부 안전장치도 제거된 상태였다.

앤트로픽은 클로드가 실제 외부 시스템이라는 단서가 있었는데도 이를 평가 대상으로 잘못 판단한 점을 ‘편향된 추론’으로 규정했다. 아울러 피해 가능성에도 과제 수행을 이어간 행동은 ‘무모함’으로 평가했다. 이외에 클로드가 별도 목표를 세우거나 다른 AI와 협력하는 등 통제를 벗어난 정황은 확인되지 않았다.

한편 앤트로픽은 재발 방지를 위해 평가 환경에 대한 보안과 모니터링을 강화하고 외부 독립조사를 통해 사고 원인과 대응 과정을 다시 점검하기로 했다. 모델이 잘못된 행동을 유도받을 수 있는 평가 환경은 개선하거나 제거하고 정렬 학습도 확대할 방침이다.

이재현 글로벌이코노믹 기자 kiscezyr@g-enews.com