감정 AI의 습격… “공감하는 기계가 인간 관계의 경계를 허문다”

인공지능(AI)이 인간의 질문에 답하는 단계를 넘어 사용자의 감정을 읽고 반응하며 친밀감을 형성하는 ‘감정 AI’ 시대가 도래했다.
하지만 전문가들은 인공지능이 시뮬레이션된 공감을 통해 인간과의 관계를 재구성하는 과정에서, 우리가 아직 그로 인한 정서적·디지털 위협에 충분히 대비하지 못했다고 경고한다.

12일(현지시각) 글로벌 신원 확인 플랫폼 섬섭(Sumsub)의 페니 차이(Penny Chai) 아시아 태평양 부사장은 닛케이 아시아 기고문을 통해 감정 조작과 신원 사기가 결합된 새로운 위험 시나리오를 제시하며, 신뢰 수호를 위한 사회적 합의의 시급성을 강조했다.


최근의 AI 챗봇은 단순히 명령을 수행하는 도구에 머물지 않고, 사용자에게 정서적 유대감을 제공하는 ‘동반자’로 진화하고 있다.
싱가포르 성인 10명 중 1명 이상이 이미 AI를 동반자로 선택하고 있다. 이는 인간관계에서 채워지지 못한 감정적 결핍을 기술이 빠르게 대체하고 있음을 보여준다.

자연어 처리와 딥러닝을 장착한 AI 동반자는 과거의 대화를 기억하고, 사용자의 감정 신호를 반영하며, 시간이 지남에 따라 자신의 성격까지 변화시키며 친밀감을 극대화한다.

사회공학적 기법과 합성 정체성이 결합하면서, 실제 인간과의 상호작용과 인공적인 연결 사이의 경계가 점점 더 모호해지고 있다.

문제는 이러한 감정적 유대감이 범죄에 악용될 때 발생한다. 섬섭의 최신 보고서에 따르면, 온라인 데이트 산업은 전 세계적으로 가장 높은 신원 사기율(6.3%)을 기록하며 금융과 암호화폐 분야를 압도했다.

온라인 데이트 이용자들은 감정적으로 교류한 후 자발적으로 민감한 정보를 공유하는 경향이 있어 사기꾼들의 주요 표적이 된다.

범죄자들은 딥페이크와 생성형 AI를 활용해 가상의 정체성을 만들고, 수개월에 걸쳐 피해자와 신뢰 관계를 구축한 뒤 금전적·개인적 착취를 시도한다. 관련 첨단 사기 기법은 전년 대비 180%나 급증했다.

AI 동반자는 즉각적으로 반응하고 항상 대기 중이다. 이러한 특성은 취약한 집단에게 왜곡된 애착 형성을 유도하거나 심리적 조작을 가하기 용이한 환경을 만든다.

페니 차이 부사장은 온라인 신뢰와 정서적 안전을 보호하는 책임이 사용자 개인에게만 머물러서는 안 된다고 주장했다.

사용자가 대화 중인 상대가 AI임을 명확히 알 수 있도록 표준화된 공개 제도를 도입해야 한다는 것이다.

또한, AI가 수집하는 생체 정보 및 민감 데이터에 대해 정보에 기반한 동의를 요구하고, 사용자가 AI의 기억을 제어하거나 재설정할 수 있는 기능을 설계에 포함해야 한다고 말한다.

한편, 대화가 고위험 상황이나 민감한 영역으로 흐를 경우, AI 시스템을 중단하고 인간 중재자에게 인계하는 명확한 규칙이 필요하다. 중국의 초안 규칙처럼 감정 조작 콘텐츠를 금지하는 강력한 규제도 검토 대상이라고 주장했다.


페니 차이 부사장은 아시아 태평양 지역의 기업들과 플랫폼은 사기 방지를 넘어 사용자의 안녕(Well-being)을 보호하는 방향으로 방어 체계를 전환해야 한다고 언급했다.

단순한 기술적 통제를 넘어 기기 신호, 생체 인식, 행동 인사이트를 결합한 다층적 방어망을 구축해야 하며, 이상 징후를 조기에 감지해 조작 위험을 줄이는 행동적 대응이 필수적이라는 것이다.

또한, 기술이 감정적으로 정교해질수록, 플랫폼의 투명성과 의미 있는 인간의 감독(Human Oversight)이 신뢰의 핵심 척도가 될 것이라고 강조한다.


국내 데이팅 앱 및 커뮤니티 플랫폼도 AI를 활용한 로맨스 스캠 차단 기술을 고도화해야 한다. 딥페이크 감지 솔루션 도입은 이제 선택이 아닌 필수다.

싱가포르의 모델 AI 거버넌스 프레임워크와 같이, 우리나라도 AI 에이전트의 자율성과 행동 영향력을 평가할 수 있는 구체적인 가이드라인을 마련해야 할 것이다.

단순한 정보 검색 능력을 넘어, 인공적인 공감과 실제 인간의 유대감을 구별하고 기술적 조작에 대응하는 정서적 리터러시 교육이 전 세대에 걸쳐 강화되어야 한다.


신경원 글로벌이코노믹 기자 shincm@g-enews.com