AI 추론 시장, 데이터센터 밖으로 확장..."엔비디아-퀄컴, 경쟁 중"

엔비디아가 인공지능(AI) 기술이 데이터센터 밖으로 확장되는 상황에서 시장 지배력을 유지하기 위한 전략을 본격화하고 있다.
미국 금융매체 배런스(Barron's)의 지난 18일(현지시각) 보도에 따르면, 주요 기술 기업들은 AI 모델의 학습과 전 세계적인 운영이 이루어지는 시설인 데이터센터 구축에 박차를 가하고 있으며, 이 분야에서는 엔비디아의 AI 칩이 지배적인 위치를 차지하고 있다. 그러나 AI 기술이 급속도로 발전함에 따라 데이터센터와 엔비디아 모두 새로운 경쟁에 직면하고 있다.

핵심은 AI 모델에서 답변을 생성하는 과정인 '추론(inference)'이 어디서 이루어지는가에 있다. 현재 추론은 주로 데이터센터에서 이루어지고 있지만, 앞으로는 퀄컴과 같은 모바일칩 전문 기업의 강력한 칩이 추론 과정을 데이터센터에서 스마트폰과 개인용 컴퓨터로 옮길 수 있다.

급성장하는 AI 추론 시장의 위험성은 매우 크다. 추론은 이미 엔비디아 데이터센터 매출의 약 40%를 차지하고 있으며 빠르게 성장 중이다. 조만간 모델 학습을 제치고 칩 업체들의 주요 AI 수익원이 될 전망이다.
디스럽티브 애널리시스(Disruptive Analysis)의 창업자이자 기술 분석가인 딘 버블리는 "엔비디아와 퀄컴 사이에 고차원적인 경쟁이 진행 중"이라고 지적했다.


올해 AI 분야에서 가장 큰 변화는 '추론 모델(reasoning models)'이라는 새로운 기술의 등장이다. 이 모델들은 문제를 단계별로 분석하며 이전 AI 모델보다 훨씬 많은 컴퓨팅 자원을 사용한다. 엔비디아 CEO 젠슨 황에 따르면, 이 모델들은 이전 AI 모델보다 최대 100배 많은 컴퓨팅 자원을 사용한다.

이달 바르셀로나에서 열린 세계 최대 모바일·통신 전시회인 모바일 월드 콩그레스(MWC)에서 퀄컴과 마이크론은 추론 기술의 미래에 대한 자사의 비전을 제시했고, 엔비디아는 시장 주도권을 유지하기 위한 계획을 공개했다.

퀄컴은 지속적인 가용성, 빠른 응답 시간, 개인정보 보호와 보안, 그리고 낮은 비용 요구로 인해 AI 추론이 필연적으로 사용자 기기로 이동할 것이라고 주장했다.
퀄컴의 아카시 팔키왈라 최고재무책임자(CFO)는 MWC에서 배런스와의 인터뷰에서 "여러 이유로 기기에서 실행하는 것이 합리적이며, 이는 반드시 일어날 일"이라고 강조했다.

그러나 모바일 기기에서 추론을 수행할 경우 배터리 수명이 빠르게 소모될 수 있다. 또 다른 문제는 AI 칩이 메모리 시스템이 제공할 수 있는 속도보다 더 빠르게 데이터를 처리할 수 있어 추론 성능을 제한하는 '메모리 월(memory wall)' 현상으로, 이는 사용자에게 답답한 지연을 초래할 수 있다.

메모리 칩 전문 기업인 마이크론 테크놀로지는 이러한 문제에 대한 해결책을 개발 중이다. 동사의 최신 고급 스마트폰용 칩은 이전 세대와 비교해 최대 15% 전력 절약이 가능하다. 마이크론의 '메모리 월' 해결책은 일부 추론 작업을 메모리 칩 내부에서 직접 수행할 수 있는 반도체 아키텍처인 '메모리 내 처리(processing-in-memory)' 기술이 될 수 있다.

퀄컴과 마이크론은 소비자들이 AI 추론을 처리할 수 있는 자사 칩이 장착된 프리미엄 스마트폰을 구매하기를 기대하고 있다. 그러나 국제데이터공사(IDC)에 따르면 전 세계 스마트폰 출하량은 올해 2.3%만 증가할 것으로 예상돼 시장 확대는 더딜 전망이다.

이에 맞서 엔비디아는 이미 준비된 해결책을 갖고 있다고 주장한다. 동사는 자사의 칩을 통신 회사에 판매하는 전략을 추진하고 있다. 현지 무선 인프라가 AI 추론을 수행하기에 적합한 장소라고 주장하며, 사용자와 충분히 가까워 지연을 줄이면서도 기존 전력 공급을 활용할 수 있다는 점을 강조하고 있다.

이는 쉽지 않은 과제다. 통신 회사들은 5G 인프라에 많은 투자를 했음에도 수익이 미미했던 경험 때문에 추가 투자에 신중한 입장이다. 그럼에도 엔비디아는 여러 파트너를 확보하는 데 성공했다.

지난주 한국의 삼성전자는 자사의 무선 네트워크가 데이터센터처럼 작동할 수 있도록 엔비디아의 하드웨어를 통합한다고 밝혔다. 미국의 버라이즌 커뮤니케이션즈도 올해 초 엔비디아와의 파트너십을 포함한 기업용 'AI 커넥트' 제품군을 발표했다.

특히 주목할 만한 것은 엔비디아가 일본의 통신·인터넷 기업인 소프트뱅크와 긴밀한 관계를 형성했다는 점이다. 두 회사는 공동으로 기술 시험을 진행했으며, 통신 사업자들이 AI와 무선 인프라에 투자한 1달러당 약 5달러의 추론 수익을 올릴 수 있을 것으로 공동 추정했다.

소프트뱅크의 AI-RAN 아메리카 디렉터인 마우로 필호는 배런스와의 인터뷰에서 "텍스트 기반 AI에서 소리와 영상과 같은 다른 미디어로의 이동은 기기 배터리 보존을 포함해 무선 네트워크에서 추론을 수행하는 이점을 증명할 것"이라고 말했다.

그는 "일부 작업을 네트워크로 전송하는 능력은 선택을 강요하는 대신 낮은 지연 시간과 기기 내 AI의 편리함을 동시에 가능하게 한다"고 덧붙였다.

그러나 디스럽티브 애널리시스의 버블리는 무선 네트워크가 AI 처리에서 주요 역할을 할 수 있다는 점에 회의적인 입장을 보였다. 그는 "AI 학습이든 추론이든 전체 컴퓨팅의 대부분은 대형 데이터센터나 기기에 집중될 것이며, '중간' 부분은 전력 공급이 부족하다"고 지적했다.

추론은 데이터센터, 무선 인프라, 기기에서 혼합되어 이루어질 것이지만, 정확한 비율이 어떤 기업이 승자로 부상할지 결정할 것으로 보인다.

현재로서는 엔비디아가 여전히 분명한 우위를 점하고 있다. 대형 기술 기업들은 데이터센터에 대한 막대한 투자로 인해 엔비디아의 칩을 사용하도록 고정되어 있으며, AI 모델 학습에 사용한 것과 동일한 하드웨어를 추론에도 사용하려 할 것이다. 통신 사업자에 대한 칩 판매는 데이터센터 밖으로 AI를 가져오려는 퀄컴과 다른 잠재적 경쟁자들에 대한 엔비디아의 입지를 더욱 강화할 전망이다.


박정한 글로벌이코노믹 기자 park@g-enews.com