유튜브 '채팅테러' 책임은 피해자가 진다?…유해 콘텐츠 AI검열 '논란'

인도네시아의 57만 유튜버 아이라니 이오피프틴은 최근 SNS를 통해 '과도한 노출·성적 콘텐츠로 정책을 위반했다'는 이유로 계정이 정지됐다며 억울함을 토로했다. 그녀의 계정은 약 18시간만에 정상적으로 복구됐다. 계정 정지의 원인은 그녀의 방송 콘텐츠가 아닌 라이브 방송에서 벌어진 '채팅 테러'였다.

유튜브 등 영상 플랫폼에서 스트리머들은 채팅을 보며 시청자들과 실시간으로 소통을 즐긴다. 이 과정에서 많은 이들이 채팅창을 방송 화면에 띄워주는 형태로 방송을 진행한다. 이러한 방송에 봇을 활용해 포르노 사이트 홍보와 혐오스런 표현 등의 '스팸 메세지'로 도배하는 '채팅테러' 행각도 빈번하게 일어나고 있다.
문제는 채팅테러 과정에서 사용된 저속한 문구들이 실시간 방송에 잠시라도 노출되는 경우, 유튜브의 딥러닝 기반 AI(인공지능) 시스템이 이를 포착해 '규정 위반 행위'로 규정한다는데 있다. 이로 인해 스트리머는 단지 악성 이용자들을 조금 늦게 차단했다는 이유만으로 계정정지 처분을 받는다.

최근 동남아시아의 스트리머, 특히 버추얼 유튜버들을 타깃으로 이러한 '채팅테러' 사건이 지속적으로 일어나고 있다. 앞서 언급한 이오피프틴은 일본 유명 버추얼 유튜버 그룹 홀로라이브 소속이다. 그녀의 인도네시아 그룹 소속 동료 '코보 카나에루'도 이달 들어 두차례나 같은 이유로 계정이 정지됐다.

개인으로 활동하는 인도네시아 유튜버 '룰라나 윈터닉스'는 지난 4일 비슷한 이유로 계정이 정지됐는데, 그녀는 일주일에 걸쳐 5차례나 유튜브에 관련 문의를 넣은 끝에 계정을 복구할 수 있었다.

홀로라이브 측은 일본 공식 SNS를 통해 "스팸봇에 의한 계정정지 피해가 연이어 발생함에 따라 소속 스트리머들의 공개 방송 일정을 구독자 한정 방송으로 전환할 예정"이라며 "시청자들에게 걱정을 끼쳐드려 죄송하다"고 공지했다.
네티즌들은 이를 두고 "플랫폼의 실책에 애꿎은 소속사가 사과한다"며 유튜브를 향해 비판의 목소리를 높이고 있다. 일각에선 "유튜브가 제3세계 유튜버란 이유로 관리를 등한시하는 것 아니냐"는 지적도 나오고 있다.

AI 검열에 피해를 입은 사례는 국내에도 있다. 지난 2019년 3월 주호민 웹툰 작가의 유튜브 채널에 댓글을 다는 기능이 몇일 동안 차단됐다. 당시 유튜브는 "어린이에 대한 성적 표현의 범람을 막기 위해 검증된 채널을 제외하고 어린이가 나오는 모든 영상의 댓글을 막겠다"고 발표했는데, 이로 인해 민머리인 주 작가의 외모를 유튜브 AI가 어린이로 인식한 것이라는 추측이 나왔다.

'스팸 봇' 문제 또한 어제 오늘의 일이 아니다. 미국의 야생 활동 전문 유튜버 '칼리 콘돌'은 지난 2020년 2월 "1000명 이상이 시청하는 내 채널에 지난달부터 음란한 표현을 일삼는 봇들이 들끓고 있다"며 "이들 계정들이 어떻게 한 달 넘게 활보하는 동안 차단 당하지 않는 것인지 의문"이라고 항의하는 글을 유튜브 포럼에 게재하기도 했다.


AI 검열 시스템이 도입된 시점은 유튜브가 머신러닝 알고리즘을 도입한다고 발표한 지난 2016년으로 거슬러 올라간다. 당시 유튜브는 테러 선전물·소애 성애물 등 부적절한 콘텐츠에 광고가 실린다는 이유로 대기업 광고주들의 항의를 받았고 이에 "콘텐츠 검수 인력을 확보하고 머신러닝 기술에 추가로 투자하겠다"고 선언했다.

유튜브 측의 발표에 따르면 이러한 검열 정책으로 인해 지난해 4분기를 통틀어 340만개 채널, 33만9000개 동영상, 9억5000만개 댓글이 삭제됐다. 유튜브는 "스팸정책 위반, 혐오 표현, 기만적 행위 등에 관용은 없다"고 발표했다.

미국 코넬대학교 스위스 로잔연방공과대학 연구진은 이러한 검열정책이 실제로 혐오 표현을 차단하는 효과가 있는지 의문을 제기했다. 연구진은 지난 3월 "1만명 이상 구독자를 보유한 채널 약 13만6000곳의 7100만개 영상을 조사한 결과 유튜브의 검열 정책은 의도한 효과를 내지 못하고 있다"고 지적했다.

코넬대 연구진에 다르면 전체 유튜버 중 트위치·패트리온 등 타 플랫폼을 통해 수익을 창출하는 크리에이터의 비율은 18%이나, 극단주의·혐오주의 채널로 한정하면 61%로 늘어난다. 또 이들 중 상당수가 검열의 대상이 된 후 타 플랫폼 홍보를 위해 오히려 더 많은 콘텐츠를 생산하고 홍보하는 결과가 나타났다.

CNN에 따르면 미국 연방 항소 법원은 지난 11일 텍사스 주의 '소셜 미디어 법'의 시행을 허용한다고 판결했다. 해당 법안은 5000만명 이상의 미국 내 월간 활성 이용자(MAU)를 보유한 플랫폼이 계정제한·비활성화·차단·금지·삭제 등 다양한 형태로 자체 검열하는 것을 법적으로 금지하는 법안이다.

다프네 켈러 스탠포드 사이버 정책 센터 이사는 "텍사스가 주민들로 하여금 페이스북·트위터·유튜브의 검열 정책을 고소할 수 있도록 법적 문호를 개방했다"며 "소셜 미디어 업체들의 무분별한 검열 알고리즘과 스팸 봇에 대한 대처 미흡이 낳은 결과"라고 설명했다.

비영리 단체 CCDH(Center for Countering Digital Hate)의 이므란 아메드 대표이사는 "빅테크들이 주도하는 자율 규제는 명백히 실패로 결론났고 각국 정부는 더 이상 유튜브 등의 검열 정책을 좌시해선 안된다"며 "적법한 절차를 통해 소셜 미디어 기업들을 감시·견제·처벌하는 체계를 구축해야 할 때"라고 전했다.


이원용 글로벌이코노믹 기자 wony92kr@naver.com