[AI 스코프] AIDC는 어떻게 돈 벌까…코로케이션 넘어 토큰까지

'AI 스코프'는 AI 산업에 조준경을 맞춘다. 빠르게 등장하는 기술과 서비스 뿐 아니라 그 이면의 사업 구조와 시장 변화까지 살펴보며 AI 산업이 향하는 방향을 선명하게 짚어본다. [편집자주]

생성형 인공지능(AI) 확산과 기업들의 AI 전환(AX)이 본격화되면서 AI 학습·추론을 위한 연산 수요가 급증하고 있다. 특히 생성형 AI 서비스 이용이 늘면서 처리해야 할 토큰도 빠르게 증가하자 기업들은 이를 뒷받침할 AI 데이터센터(AIDC) 구축과 사업 확대에 나서고 있다.

AIDC 사업에 다수 기업이 뛰어드는 배경을 이해하려면 기존 데이터센터(DC)와의 차이를 살펴볼 필요가 있다. 기존 DC가 웹과 기업 시스템, 클라우드, 데이터베이스(DB) 등 범용 정보기술(IT) 서비스를 위한 인프라였다면 AIDC는 대규모 AI 학습·추론에 특화된 연산 인프라다. 특히 AIDC는 대규모 그래픽 처리 장치(GPU)를 동시에 가동해야 하는 만큼 기존 DC보다 높은 수준의 전력과 냉각 성능 뿐 아니라 GPU 간 연산 데이터를 빠르게 주고받을 수 있는 고속 네트워크가 요구된다.

기존 DC는 서버와 스토리지 등 장비 간 데이터 전송에 이더넷 기반 네트워크를 주로 활용한다. AIDC 역시 이더넷을 사용하지만 대규모 GPU가 동시에 연산 데이터를 주고받아야 하는 만큼 더 높은 대역폭과 낮은 지연 시간이 요구된다. 이에 고성능 이더넷이나 인피니밴드 등이 서버 간 연결에 활용되고, GPU 간에는 엔비디아의 NVLink와 같은 고속 인터커넥트 기술이 사용된다.
AIDC는 대규모 AI 학습·추론을 수행하며 생성형 AI 추론에서는 이용자의 요청에 대한 결과를 토큰 단위로 생성한다. 토큰은 생성형 AI가 입력을 처리하고 답변을 생성할 때 사용하는 기본 단위로, 처리량과 속도는 추론 성능과 서비스 비용을 가늠하는 주요 지표다. 같은 GPU와 전력으로 더 많은 토큰을 처리할수록 AIDC의 효율성과 경제성도 높아질 수 있다.

실제 데이터센터 수요 증가도 AI가 주도할 것으로 예상된다. 맥킨지는 글로벌 데이터센터 용량 수요가 2025년 82.3기가와트(GW)에서 2030년 219GW로 증가하고, 이 가운데 AI 학습·추론용 수요가 44GW에서 약 155.5GW로 확대될 것으로 전망했다. 2030년에는 AI 관련 수요가 전체 데이터센터 용량의 약 70%를 차지하는 셈이다.

최근 AI 활용이 확대되면서 기업들의 토큰 사용에 따른 비용 부담도 커지고 있다. 워싱턴포스트는 미국 기업들이 오픈 AI나 앤스로픽 등 미국 폐쇄형 AI 모델의 이용 비용이 커지면서 중국산 AI를 도입하기 시작했다고 보도했다. 워싱턴포스트가 소개한 사례에서는 GLM-5.2의 출력 100만 토큰 비용이 4.40달러로, 클로드 오퍼스 4.8의 25달러보다 약 6분의 1 수준이었다.

이 같은 상황에서 AIDC의 GPU와 네트워크, 전력·냉각 효율을 높여 동일한 비용과 전력으로 처리할 수 있는 토큰을 늘리면 토큰당 추론 비용을 낮출 수 있다. AIDC 규모 확대와 함께 연산 효율을 높이는 것이 AI 서비스의 가격 경쟁력으로 이어질 수 있다.
또 국내에서도 AIDC를 단순한 인프라 임대사업을 넘어 토큰 기반 사업으로 확장하려는 움직임이 나타나고 있다. KT는 1GW 규모 AIDC와 자체 AI 모델, 토큰 최적화 엔진을 결합해 토큰 생성·중개·과금을 지원하는 ‘토큰 팩토리’를 구축하고 이를 새로운 AX 수익모델로 키운다는 계획을 발표했다. 아울러 SK텔레콤(SKT)은 지난 6월 엔비디아와 AI 인프라 협력을 발표하면서 AI 팩토리를 ‘전력과 데이터를 원료로 토큰을 지속적으로 생산하는 지능 공장’으로 정의했다. 이를 통해 국내 기업들은 기존 코로케이션과 GPUaaS·AI 클라우드를 넘어 토큰 처리 효율과 비용 경쟁력을 새로운 AIDC 수익모델로 연결하려는 것이다.

미래산업으로서 AIDC의 가치는 높지만 모든 사업자가 수익을 내기는 쉽지 않다는 의견도 나온다. AIDC는 대규모 전력 확보와 실질적인 냉각 기술 뿐 아니라 안정적인 수요를 뒷받침할 우량 고객과 자금조달 능력까지 필요한 복합 인프라 사업이기 때문이다.

황석진 동국대학교 정보보호대학원 교수는 "AIDC는 사업성과 전망이 좋지만 아무나 잘될 수 있는 시장은 아니다"라며 "전력을 확보하고 실질적인 냉각 기술을 갖추는 동시에 우량 고객 확보와 자금조달까지 이뤄져야 한다"고 말했다. 이어 "결국 전력과 냉각수 등 사업에 필요한 핵심 인프라를 실제로 구축할 수 있느냐가 중요하다"고 설명했다.

이재현 글로벌이코노믹 기자 kiscezyr@g-enews.com