AI 인프라, GPU에서 메모리 중심 가속화…삼전·닉스, 차세대 개발 잰걸음

인공지능(AI) 인프라의 패러다임이 연산 중심에서 메모리 중심으로 근본적으로 변화하고 있다. 그동안 AI 반도체 시장은 엔비디아의 그래픽처리장치(GPU)로 대표되는 연산 성능이 화두였지만, 이제는 데이터가 메모리와 연산장치 사이를 얼마나 빠르게 오가느냐를 뜻하는 '메모리 대역폭'이 새로운 핵심 지표로 떠오르는 모습이다.
이에 따라 삼성전자와 SK하이닉스는 국제 표준으로 자리 잡아가는 차세대 메모리 모듈과 고대역폭메모리(HBM) 기술 개발에 나란히 속도를 내고 있다.

지난달 31일 업계에 따르면 미국 국제반도체표준화기구(JEDEC)는 AI 서버용 저전력 D램 모듈 규격인 '소캠(SOCAMM)2'의 국제 표준을 조만간 제정한다.

소캠은 HBM이 감당하지 못하는 중앙처리장치(CPU) 인접 영역의 데이터 처리를 보완하는 모듈로, 기존 서버용 D램 대비 전력 소모를 크게 줄이면서도 대역폭을 높이고 탈부착할 수 있어 유지·보수 편의성을 높인 것이 특징이다.
엔비디아가 차세대 AI 가속기 '베라 루빈'에 소캠2를 채택하기로 하면서 삼성전자와 SK하이닉스도 양산 체제를 갖췄다.

SK하이닉스는 10나노급 6세대(1c) 공정을 적용한 192GB 소캠2를 양산하며 기존 서버용 D램 대비 대역폭을 2배 이상, 전력 효율을 75% 이상 높였다고 밝혔다. 삼성전자도 앞서 업계 최초로 10나노급 5세대(1b) 공정 기반 192GB 소캠2 양산을 시작했다.

차세대 HBM 개발 경쟁도 본격화되고 있다. 최근 미국에서 열린 메모리 전시회 'FMS 2026'과 '핫칩스 2026'에서 두 회사는 나란히 대역폭을 높인 해법을 제시했다.

SK하이닉스는 차세대 스토리지 기술인 고대역폭낸드플래시(HBF)의 첫 표준 규격을 공개했다. SK하이닉스는 HBM과 낸드플래시를 계층적으로 연결한 HBF 구조를 선보이며, 빠르지만 비싼 HBM과 저렴하지만 느린 SSD 사이의 새로운 메모리 계층을 제안했다.
삼성전자는 GPU 위에 HBM을 수직으로 쌓아 대역폭을 극대화하는 'zHBM'과, D램급 대역폭을 낮은 비용으로 구현하는 차세대 낸드 아키텍처 'zNAND-O'를 공개했다.

zHBM은 메모리를 연산장치 위에 직접 쌓아 물리적 거리를 줄이고 데이터 전송 지연과 전력 소모를 낮추는 개념이다. 최근에는 미래 대비 차원에서 'zHBF' 상표까지 출원하며 관련 기술 확보에도 나섰다.

심지어 그동안 GPU 생산에 집중하던 엔비디아마저 AI 맞춤형 메모리인 'NVHBM'을 공개, 메모리 기술까지 내재화에 나선 상황이다.

결국 이 같은 메모리 중심 AI 서버 구축의 배경에는 메모리 대역폭을 극대화하는 데 있다. 삼성전자 DS부문 미주총괄법인(DSA)의 조상연 총괄(부사장)도 지난달 27일 열린 미국의 정보기술(IT) 콘퍼런스 '더 식스파이브 서밋 2026'에서 연사로 참석해 메모리 대역폭을 거듭 강조했다.
그는 "AI 추론 서비스에서 매우 중요한 요소인 '조직이 필요로 하는 초당 토큰 수'가 메모리 대역폭에 의해 결정된다는 사실을 업계는 아직 제대로 이해하지 못하고 있다"면서 "삼성은 비트(데이터의 단위)를 판매하는 것이 아니라 대역폭을 판매하고 있다"고 말하기도 했다.


박상휘 글로벌이코노믹 기자 shpark03@g-enews.com