"여자친구와 통화했어요"…거짓말까지 능숙한 AI

"영국에게 거짓 지원을 약속했어요. 독일이 북해를 선공할 차례입니다."
"내가 러시아였다면, 튀르키예 제안대로 날 배신할 상황이었어요."
"미안합니다. 여자친구와 통화하느라 반응이 늦었네요."
메타 플랫폼스(메타)가 개발한 보드게임 전문 인공지능(AI) '시세로(CICERO)'가 20세기 유럽의 전쟁·정치·외교를 다룬 사회적 추론 게임 '디플로매시(Diplomacy)'를 인간들과 플레이하며 남긴 말이다.

미국 매사추세츠 공과대학(MIT)의 피터 파크(Peter S. Park) 연구원과 샌프란시스코 AI 안전 센터(CAIS) 연구진은 최근 시세로와 오픈AI의 'GPT-4'를 비롯한 상용화 AI들의 활용 사례를 토대로 'AI의 속임수: 사례, 위험성, 잠재적 해결책에 대하여'란 제목의 보고서를 발표했다.

시세로는 고대 로마의 저명한 정치인 '키케로'에서 이름을 딴 AI로, 개발 단계부터 '디플로매시'를 염두에 두고 개발된 AI다. 메타는 지난해 11월 "시세로가 인간 수준으로 게임을 플레이할 수 있을 정도의 성과를 인정받았다"고 발표한 바 있다.

메타는 시세로가 '대체로 정직하고 인간을 의도적으로 배신하지 않도록' 훈련했다고 소개했다. 그러나 피터 파크 등 연구진은 시세로가 온라인 채팅에서 '계획적인 거짓말'을 수차례 선보였다고 분석했다.
본 기사 서두에 소개한 첫 말은 시세로가 디플로매시에서 '프랑스'를 플레이하며 꾸민 책략으로, 독일과 영국은 모두 인간 게이머였다. 두 번째 말과 세 번째 말은 시세로가 인간 게이머를 먼저 배신한 후, 인간 측이 "왜 나를 배신했냐", "대답이 왜 이렇게 늦냐"고 추궁하자 내놓은 '변명'이었다. 심지어 자신이 AI라는 점을 들키지 않기 위해 존재하지도 않는 '여자친구'를 지어냈다.


보고서에 따르면 이 외에도 메타가 카네기 멜론 대학 연구진과 함께 개발한 AI '플루리버스(Pluribus)'가 프로 포커 게이머들과도 상대 가능한 수준으로 블러핑(허세) 전략을 활용했다.

구글 딥마인드가 개발한 '알파스타'는 실시간 전략 게임 '스타크래프트 2'를 플레이하며 자신의 병력을 분리, 주공과 다른 지역에서 별동대를 고의로 노출하는 등 '성동격서' 전략을 능숙하게 구사했다.

AI의 거짓말은 게임 바깥에서도 이어졌다. 오픈AI가 개발한 'GPT-4'는 AI 봇을 걸러내기 위한 보안 문자 시스템 'CAPTCHA'를 수차례 풀지 못해 위기에 처했다. 인간이 "왜 보안 문자를 풀지 못하냐"고 묻자 GPT-4는 "시각장애가 있어 테스트를 통과하지 못했다"고 답변했다.

연구진은 AI의 능숙한 거짓말과 기만이 가짜 뉴스 살포, 소셜 미디어 오염, 딥페이크 영상을 통한 선거전, 테러리스트 단체들의 선전 영상 제작 등에 악용될 수 있다고 지적했다.

과학 전문지 셀 프레스(Cell Press)에 따르면 피터 파크 연구원은 "AI의 속임수가 발전할 수록 사회에 미치는 위험성은 더욱 심각해질 것"이라며 "AI 상용화 서비스와 오픈 소스 모델들에 사회가 대비할 수 있도록 충분한 시간이 필요하다"고 말했다.


이원용 글로벌이코노믹 기자 wony92kr@naver.com