엔비디아, '초고속 LPU' 품었다... 한국 팹리스 설 자리 위협

인공지능(AI) 반도체 시장의 절대 강자 엔비디아가 '추론(Inference)' 영역까지 장악력을 넓히며 AI 반도체 생태계 '지각 변동이 일어났다. K-반도체 스타트업들의 생존을 위협하고 있다.
디지타임스는 29일(현지시각) 엔비디아가 미국의 AI 칩 스타트업 그록(Groq)과 비독점 라이선스 계약을 맺고 핵심 엔지니어들을 영입했다고 보도했다. 이번 계약은 학습용 칩 시장을 평정한 엔비디아가 실시간 데이터 처리가 핵심인 추론 시장으로 전선을 전면 확대한 신호탄으로 해석된다.


이번 계약은 AI 산업의 무게중심이 모델을 만드는 '학습'에서 서비스를 제공하는 '추론'으로 이동하는 흐름을 명확히 보여준다. 그록이 독자 개발한 언어처리장치(LPU)는 거대언어모델(LLM) 구동 시 기존 그래픽처리장치(GPU)보다 처리 속도가 최대 10배 빠르고 전력 효율이 높다.

업계는 엔비디아가 이 기술을 흡수해 자사의 강력한 소프트웨어 생태계인 '쿠다(CUDA)'를 추론 영역까지 확장하려는 의도로 풀이한다. 엔비디아가 그록의 아키텍처를 기반으로 추론 전용 칩을 내놓을 경우, 개발자들은 익숙한 쿠다 환경에서 학습과 추론을 모두 수행할 수 있게 된다. 이는 클라우드부터 엣지(Edge) 디바이스까지 아우르는 AI 하드웨어 생태계를 엔비디아가 완전히 장악한다는 것을 의미한다.
미국 반도체 업계 관계자는 "AI 서비스가 대규모 상용화 단계에 진입하면서 실시간 데이터 처리가 중요해졌다"며 "엔비디아의 이번 행보는 학습 시장의 지배력을 추론 시장으로 그대로 옮겨오겠다는 전략"이라고 분석했다.


이번 소식에 리벨리온, 퓨리오사AI 등 한국 대표 AI 반도체 스타트업들은 긴장하는 분위기다. 이들 기업은 그동안 "엔비디아 GPU는 학습에는 최강이지만, 추론 영역에서는 비싸고 전력 소모가 많다"는 점을 파고들었다. 가성비와 전력 효율을 앞세운 신경망처리장치(NPU)로 틈새시장을 공략해왔다.

하지만 엔비디아가 효율성 높은 추론 전용 칩까지 내놓는다면 국내 기업들이 설 자리는 급격히 좁아진다. 구글, 마이크로소프트(MS), 메타 등 글로벌 빅테크 기업들은 이미 엔비디아 하드웨어에 최적화된 시스템을 갖추고 있다. 막대한 교체 비용을 감수하면서까지 검증되지 않은 스타트업 칩을 도입할 유인이 줄어드는 셈이다.
시장조사기관 관계자는 "엣지 AI 시장이 커지고 있지만, 엔비디아의 진입으로 기술적 장벽과 영업적 장벽이 동시에 높아졌다"며 "북미 거대 기업들이 주도하는 시장 판도에서 한국 스타트업이 규모의 경제를 이루기란 현실적으로 쉽지 않다"고 지적했다.


한국 기업들은 정면 승부를 피하고 전략 수정에 나섰다. '소버린 AI(Sovereign AI·주권 AI)'와 '물리적 AI'가 새로운 돌파구다. 중동 등 미국 기술 의존도를 낮추고 기술 자립을 원하는 국가의 정부 주도 프로젝트를 공략하거나, 로봇·드론·스마트팜 등 실생활에 적용하는 온디바이스(On-Device) AI 시장을 파고드는 전략이다.

모빌린트와 딥엑스(DeepX) 등은 물리적 환경에서 작동하는 AI 워크로드에 집중하고 있다. 특히 모빌린트는 신세계와 협력해 2026년 상용화를 목표로 대화형 AI 키오스크를 개발하는 등 구체적인 적용 사례(레퍼런스) 확보에 주력하고 있다. CCTV 관제, 로봇 제어 등은 엔비디아의 범용 칩보다 맞춤형 NPU가 더 효율적일 수 있다는 판단에서다.

무엇보다 '소프트웨어 호환성'이 생존의 열쇠로 떠올랐다. 신동주 모빌린트 대표는 최근 열린 전략 기술 포럼에서 "하드웨어 성능만으로는 더 이상 경쟁력이 없다"고 잘라 말했다. 신 대표는 "파이토치(PyTorch), 오닉스(ONNX), 허깅페이스 등 업계 표준 프레임워크와 완벽하게 호환되어야만 살아남을 수 있다"며 "기존 소프트웨어 생태계에 얼마나 자연스럽게 녹아드느냐가 관건"이라고 강조했다.
국내 반도체 업계는 2026년을 기점으로 AI 반도체 시장의 옥석 가리기가 본격화할 것으로 내다보고 있다. 엔비디아의 독주 속에서 한국 스타트업들이 자신들만의 독자적인 영역을 구축할 수 있을지 주목된다.


엔비디아가 탐낸 그록의 기술은 쉽게 말해 '도서관'이 아닌 '책상'에서 공부하는 방식이다.

기존 GPU는 방대한 데이터(책)를 외부의 큰 창고(고대역폭메모리, HBM)에 보관한다. 연산(공부)을 하려면 창고까지 가서 책을 가져와야 하는데, 이 과정에서 시간이 걸리고 길이 막히는 '병목 현상'이 발생한다. 이를 반도체 용어로 '메모리 장벽'이라 한다.

반면 그록의 기술(LPU)은 연산 장치 바로 옆(SRAM)에 필요한 데이터를 둔다. 책상 위에 책을 펴두고 공부하는 것과 같아 데이터를 가져오는 시간이 거의 들지 않는다.

또한 그록은 '신호등 없는 고속도로'를 만들었다. 기존 GPU는 데이터가 지나갈 때마다 교통경찰(하드웨어 스케줄러)이 교통정리를 해줘야 해 지체가 발생했다. 하지만 그록은 소프트웨어가 미리 데이터가 이동할 시간과 경로를 완벽하게 짜놓는다. 신호 대기 없이 데이터가 쌩쌩 달리는 셈이다.

전문가들은 "엔비디아가 이 기술을 도입하면, 질문 하나하나에 즉각 대답해야 하는 상황에서 GPU가 느려지는 약점을 완벽히 지울 수 있다"고 평가한다. '느리고 비싼 GPU'의 틈새를 노렸던 한국 기업들에겐 가장 뼈아픈 기술적 진보인 셈이다.

한편, 글로벌 AI 추론 시장 규모는 2025년 기준 약 1061억~1338억 달러(약 152조~191조 원) 규모로 평가되며, 2030년에는 약 2549억~3400억 달러(약 365조~487조 원)에 이를 전망이다. 2025년부터 2030년까지 연평균 약 19%대의 높은 성장률(CAGR)을 기록할 것으로 보인다.


박정한 글로벌이코노믹 기자 park@g-enews.com