아마존, AI 학습 위해 희귀서적 사들여 파괴

온라인 서점으로 출발한 아마존이 인공지능(AI) 모델 학습에 사용할 데이터를 확보하기 위해 희귀서적을 대량으로 사들여 책등을 잘라낸 뒤 스캔하고 원본을 폐기하고 있는 것으로 나타나 논란이다.
테크크런치는 IT 전문매체 404미디어의 조사 결과를 인용해 아마존이 희귀하거나 절판돼 인터넷에서 구하기 어려운 책들을 사들여 AI 학습데이터로 활용하고 있다고 18일(현지시각) 보도했다.

404미디어는 AI 업체가 매입할 것으로 의심되는 희귀서적 한 권에 추적장치를 넣어 배송 경로를 확인했다. 책의 최종 도착지는 미국 네바다주 라스베이거스에 있는 아마존 시설이었다.

VGT3로 불리는 이 시설에서는 대량으로 들어오는 인쇄 서적을 스캔하는 작업이 이뤄지고 있다.
404미디어가 접촉한 이곳 직원들에 따르면 시설에서는 대량으로 배송된 책의 제본 부분인 책등을 잘라 페이지를 분리한 뒤 신속하게 스캔한다. 이 과정에서 원래 책은 다시 사용할 수 없게 된다.

VGT3에서 책을 처리하는 아마존 팀은 책을 들고 있는 공룡을 상징으로 사용하고 있는 것으로 전해졌다.

아마존은 404미디어에 고객들이 이용하는 제품과 서비스를 개선하기 위해 상업적인 유통 경로를 통해 책을 구매하고 있다고 밝혔다.

AI 업체들이 희귀서적에 눈을 돌리는 것은 대규모언어모델(LLM)을 훈련하는 데 막대한 양의 고품질 텍스트가 필요하기 때문이다.
인터넷에서 쉽게 구할 수 있는 상당량의 텍스트는 이미 AI 모델 학습에 사용됐다. 반면 절판됐거나 디지털화되지 않은 희귀서적에는 기존 온라인 데이터에서 찾기 힘든 새로운 텍스트가 담겨 있다.

특히 생성형 AI가 본격적으로 확산하기 전 출간된 책들은 AI가 만들어낸 문장이 섞여 있을 가능성이 없다는 점에서도 학습자료로 가치가 높다.

AI 모델이 다른 AI가 생성한 콘텐츠를 지나치게 많이 학습하면 결과물의 품질이 점차 악화하는 이른바 ‘모델 붕괴’가 발생할 수 있다.

이 때문에 AI 기업들이 인간이 직접 작성하고 편집한 오래된 인쇄물에서 새로운 학습데이터를 확보하려는 움직임이 확산하고 있다.
아마존의 사례는 그동안 어느 AI 업체가 세계 각지에서 팔리는 희귀·절판 서적을 대량으로 구매하는지 불분명했던 상황에서 실제 구매 주체와 처리 시설이 추적을 통해 확인됐다는 점에서 주목된다.

1990년대 온라인 서점으로 사업을 시작해 세계 최대 전자상거래·클라우드 기업으로 성장한 아마존이 이제는 AI 경쟁을 위해 종이책을 다시 대량으로 사들이고 있는 셈이다.


김현철 글로벌이코노믹 기자 rock@g-enews.com