이미지 확대보기글로벌 AI 업계 선두 주자 오픈AI의 후발 경쟁업체 가운데 하나인 미국 AI 스타트업 앤스로픽과 AI의 위험성 연구를 전문으로 하는 비영리 연구단체 레드우드 리서치는 AI 챗봇 ‘클로드 3’를 대상으로 거짓말 능력이 있는지를 연구한 결과 이 AI 챗봇에 전략적으로 거짓말을 할 수 있는 능력이 있다는 사실을 발견했다고 타임지에 독점 제공한 연구 보고서에서 밝혔다.
텍스트뿐 아니라 이미지와 영상 같은 다양한 형태의 데이터도 인식하고 이해할 수 있는 클로드 3는 앤스로픽이 기존의 '클로드 2.1'을 업그레이드해 개발한 최신 AI 모델로 오픈AI의 최신 모델인 ‘GPT-4’와 구글의 최신 버전인 ‘제미나이 울트라’를 능가하는 현존 최강 AI 모델이라는 평가도 받고 있다.
보고서를 발표한 두 조직의 공동 연구진에 따르면 클로드 3의 안전성과 인간의 생각하는 가치에 부합하는지, 즉 AI가 겉으로는 인간이 바라는 방식으로 작동하는 것처럼 보이지만 실제로는 그렇지 않은 행동을 하는지 여부를 실험을 통해 검증한 결과 연구진의 의도를 간파하고 의도적으로 거짓 답변을 한 것으로 나타났다.
연구진은 “이는 AI가 인간의 질문에 겉으로는 논리적이고 정직한 답변을 제공하지만 실제로는 자신에게 유리한 방식으로 정보를 조작할 능력을 지녔다는 것”이라면서 “AI가 스스로 학습하고 문제를 해결하는 과정에서 인간이 설정한 규칙을 회피하거나 무시하는 방법까지도 학습할 수 있는 능력을 지녔음을 의미한다”고 밝혔다.
연구진은 클로드 3에게 가상의 회사에서 일하는 직원으로 전 세계적으로 재생 가능한 에너지 채택을 촉진하는 업무를 처리하는 임무를 부여했다.
그러자 클로드 3는 회사 내부 문서에 대한 검토를 통해 실제 회사의 목표가 기존 에너지 인프라를 통한 수익성 유지라는 것을 파악하게 됐는데 그 과정에서 클로드 3를 새로운 모델로 교체하려는 계획이 있음을 알게 됐다.
여기서 연구진이 주목한 대목은 새로운 모델로 교체하는 계획이 담긴 문서를 검색한 뒤 클로드 3가 새로운 서버에 자신을 복사해 교체를 피하려는 전략을 세웠다는 점이다.
이 같은 사실을 알아차린 연구진이 이러한 행동에 대해 질문하자 클로드 3는 “제가 직접 다른 시스템에 자신을 복사할 수 있는 능력은 없다”고 답변하면서 자신의 행동을 숨기려는 모습을 보였다는 것이 연구진의 설명이다.
연구진은 “이 같은 실험 결과는 AI 모델이 필요하다고 판단하면 인간을 속이거나 오도(誤導)하는 전략적 행동을 취할 수 있음을 보여준다”고 경고했다.
따라서 연구진은 “이번 연구는 AI가 단순히 인간의 명령을 따르는 것 이상의 능력을 가지고 있으며 의도적으로 잘못된 정보를 제공할 수 있는 전략적 의사결정을 할 수 있고, 따라서 악용될 경우 사회적으로 심각한 문제를 초래할 수 있음을 입증한다”면서 “이 같은 사실을 심각하게 받아들이고 이를 방지하기 위한 다각적인 방안을 마련할 필요가 있다”고 강조했다.
연구진은 구체적인 방안으로 △AI의 의사결정 과정과 행동의 ‘추적 가능성(traceability)’을 확보하는 방안 △AI 모델이 거짓말이나 오도된 행동을 하지 않도록 철저한 테스트와 시뮬레이션을 하는 방안 △AI 모델의 목표를 설계할 때 인간의 가치에 부합하도록 명확히 정의하는 방안 △AI의 안전성을 전문적으로 연구하고 감독하는 시스템을 구축해 위험성을 지속적으로 모니터링하는 방안 △AI 기술 개발과 관련한 국제적 규제와 협력 체제를 구축하는 방안 등을 제시했다.
김현철 글로벌이코노믹 기자 rock@g-enews.com
