[실리콘 디코드] "GPU 없어도 A100급"…인도가 쏘아올린 'CPU 반란'

전 세계 AI(인공지능) 산업이 엔비디아 GPU(그래픽처리장치) 품귀와 데이터센터 전력난이라는 이중고(二重苦)에 시달리는 가운데, 인도의 한 딥테크 기업이 기존 CPU(중앙처리장치)만으로 고성능 GPU급 효율을 내는 기술을 공개해 파란을 예고하고 있다. 고가의 GPU 확보 전쟁에 뛰어드는 대신, 이미 깔려 있는 CPU 인프라를 활용해 'AI 주권'과 '비용 효율'을 동시에 잡겠다는 전략이다.
인도 벵갈루루 소재 스타트업 '지로 랩스(Ziroh Labs)'의 비니트 미탈 수석부사장은 최근 디지타임스와의 인터뷰에서 "자체 개발한 '콤팩트(Kompact) AI 런타임'이 인텔 제온 CPU 기반 서버에서 엔비디아 A100 GPU와 대등한 추론(Inference) 성능을 기록했다"고 밝혔다. 그는 "신흥 시장의 기업용 AI 도입 성패는 모델의 성능뿐만 아니라 에너지 가용성과 하드웨어 주권(Sovereignty)에 달렸다"며 이같이 주장했다.


지로 랩스가 제시한 데이터는 반도체 업계의 통념을 깬다. 통상 CPU는 직렬 처리에 특화돼 있어 병렬 연산이 필수인 AI 구동에는 부적합하다는 것이 정설이었다. 그러나 지로 랩스는 콤팩트 AI 런타임을 통해 배치 크기(Batch size) 1 기준, 오픈소스 거대언어모델(LLM)을 초당 164토큰 속도로 구동해 냈다. 엔비디아 A100과 맞먹는 수준이다. 인텔의 최신 6세대 서버 환경에서는 엔비디아 최상위 모델인 H100급 성능에 육박한다고 회사 측은 강조했다.

기업용 환경에서 필수적인 배치 처리(Batching) 기술을 적용하면 성능 격차는 더 벌어진다. 처리 속도가 초당 2500토큰까지 치솟는다. 여기에 지로 랩스의 독자 캐싱 기술인 '엘리펀트(Elephant)'가 적용되면, 반복적인 작업 부하 처리 속도는 초당 1만 토큰에 달한다. A100이나 H100 대비 수치상으로 압도적인 효율이다. 엘리펀트는 쿼리와 결과물 사이의 의미적 유사성을 탐지해 불필요한 중복 연산을 과감히 생략하는 기술이다.
이러한 비약적인 성능 향상의 비결은 '수학'에 있다. 2019년 설립된 지로 랩스는 완전동형암호(FHE) 연구진이 주축이다. CEO 리시케시 데완은 인도과학원(IISc) 관련 수학 전문가이며, 튜링상 수상자이자 공개키 암호화 창시자인 윗필드 디피가 자문역을 맡고 있다. AI 붐 이전부터 복잡한 암호화 연산을 효율화하며 축적한 노하우가 트랜스포머 아키텍처 최적화로 이어진 것이다.

미탈 부사장은 "전체 스택을 바닥부터 완전히 새로 짰다"며 "최적화의 70%는 AI의 과학적 원리에서, 나머지 30%는 CPU의 캐시(L1/L2)와 메모리를 극한까지 관리하는 시스템 소프트웨어 재설계에서 나왔다"고 설명했다.


지로 랩스가 'CPU 중심(CPU-first)' AI를 주창하는 배경에는 현실적인 '전력'과 '지정학' 문제가 있다. 미탈 부사장은 "GPU 카드 한 장이 750W에서 1kW의 전력을 먹어 치우는 현재 구조는 인도가 서구권 방식을 그대로 답습하기엔 감당 불가능한 수준"이라고 지적했다. 전력 공급이 불안정한 신흥국 입장에서는 저전력 CPU 서버 활용이 필수 불가결하다는 논리다.
미·중 갈등으로 인한 반도체 수출 통제도 이들의 주장에 힘을 싣는다. 미탈 부사장은 "내일 당장 어떤 칩이 수입 금지될지 모르는 불확실성의 시대"라며 "통제 가능한 하드웨어와 개방형 표준 위에서 인프라를 구축해야 한다"고 역설했다. 이는 인도가 추진 중인 반도체 자립 및 디지털 주권 전략과 정확히 맞물린다.


기술적 차별점은 '정밀도'에 있다. '라마.cpp' 등 기존 CPU 가속 기술들은 속도를 높이기 위해 모델을 경량화(양자화·Quantization)하는 과정에서 미세한 성능 저하를 감수해야 했다. 반면 콤팩트 AI는 AI 학습에 쓰이는 데이터 타입인 'BF16'을 그대로 사용해 원본 모델을 구동한다.

미탈 부사장은 "양자화는 속도는 빠를지 몰라도 법률이나 금융 분석 같은 정교한 작업에서 미묘한 의미론적 오류를 낼 수 있다"며 "속도를 위해 정확성을 포기하기엔 아직 이르다"고 선을 그었다. 소규모 로컬 구동에 만족하는 기존 기술과 달리, 데이터센터급 '무손실 고성능'을 지향한다는 선언이다.

지로 랩스는 당분간 자체 칩(ASIC) 개발보다는 인텔, AMD, ARM 등 다양한 칩을 아우르는 소프트웨어 생태계 장악에 집중할 계획이다. 미탈 부사장은 "하드웨어가 소프트웨어를 따라와야 한다"며 "우리는 AI 워크로드를 위한 범용 가상머신(VM) 레이어가 될 것"이라고 포부를 밝혔다.
엔비디아 일변도의 AI 하드웨어 시장에서, 소프트웨어 기술력으로 무장한 인도의 스타트업이 'CPU의 재발견'을 통해 유의미한 균열을 낼 수 있을지 업계의 이목이 쏠리고 있다.


박정한 글로벌이코노믹 기자 park@g-enews.com