[김대호 진단] 반도체열전 (59) HBM... SK하닉 vs 삼성전자

[김대호 진단] 반도체열전 (59) HBM... SK하닉 vs 삼성전자

인공지능(AI) 시대에 엔비디아 GPU와 함께 폭발적인 인기를 누리고 있는 고대역폭 메모리 반도체, 즉 HBM의 상용화 역사에는 한국 반도체 두 거인의 뼈아픈 엇갈림이 새겨져 있다.2010년대 중반, 2세대 HBM(HBM2)의 상용화 개발을 주도하며 기술적 우위를 증명했던 곳 중 하나는 삼성전자였다. 삼성전자는 2016년 고성능 컴퓨팅용 HBM2 양산에 성공하며 시장 개화를 노렸다. 그러나 당시만 해도 인공지능 시장은 본격적으로 열리지 않았고, 초고가에 제조 공정마저 극도로 까다로운 HBM을 사줄 고객은 소수의 슈퍼컴퓨터 연구소나 군사 프로젝트 외에는 거의 없었다.

팔리지 않는 고비용 메모리는 일반 범용 DRAM 시장에서 압도적인 영업이익을 구가하던 삼성전자 경영진의 눈에 계륵으로 비쳤다. 결국 2019년, 삼성전자는 시장성이 불투명하고 경제성이 없다는 판단 아래 HBM 전담 연구개발 조직을 대폭 축소하고 사업 우선순위에서 뒤로 밀어내는 치명적인 실책을 범했다.이 거대한 틈을 비집고 들어간 곳이 바로 SK하이닉스였다. 2000년대 후반부터 미국 AMD와 손잡고 1세대 HBM 규격을 공동 개발하며 끈질기게 기초 기술을 축적해 온 SK하이닉스는 삼성전자가 주춤한 사이에도 끈을 놓지 않았다. 메모리 업계의 오랜 불황 속에서도 엔비디아와의 차세대 가속기 협력을 포기하지 않고 차세대 공정에 연구개발 역량을 전폭적으로 베팅했다.

그 인내의 결실은 불과 몇 년 뒤인 2022년 말, 챗GPT의 등장과 함께 거대한 폭풍으로 돌아왔다. 엔비디아의 최신 AI 가속기가 요구하는 상상을 초월하는 데이터 폭류를 받아낼 수 있는 곳은 오직 뚝심으로 3세대(HBM3)와 5세대(HBM3E) 양산 체제를 완성해 둔 SK하이닉스뿐이었다. 한 번의 판단 착오가 수십 년간 이어져 온 메모리 절대강자의 위상을 흔들고, 만년 2위로 불리던 도전자에게 역사상 가장 화려한 왕관을 씌워준 순간이었다.

컴퓨터의 두뇌인 연산 장치(GPU·CPU)가 일하는 요리사라면, 메모리(DRAM)는 요리 재료를 보관하는 냉장고다.과거에는 요리사의 손놀림이 평범했기 때문에 일반 도로(통로)를 통해 재료를 날라도 작업에 무리가 없었다. 그러나 수천억 개의 파라미터를 다루는 AI 시대의 GPU는 초당 수십만 개의 데이터를 삼켜버리는 ‘초인적인 요리사’로 진화했다.

여기서 심각한 문제가 발생했다. 요리사는 1초에 1,000 접시를 만들 능력을 갖췄는데, 도로가 좁아 재료가 1초에 10개밖에 배달되지 않는 사태가 벌어진 것이다. 요리사가 일손을 놓고 멍하니 서서 재료를 기다리는 이 현상을 컴퓨터 공학에서는 ‘메모리 벽(Memory Wall)’ 혹은 ‘폰 노이만 병목현상’이라 부른다.HBM(High Bandwidth Memory)은 바로 이 꽉 막힌 물류 통로를 시원하게 뚫기 위해 고안되었다. 일반 메모리가 1~2차선 좁은 골목길에서 스포츠카가 시속 300km로 아슬아슬하게 질주하는 방식이라면, HBM은 도로 자체를 1,024차선, 2,048차선의 광활한 고속도로로 넓혀 대형 화물트럭 수천 대가 동시에 재료를 쏟아붓는 방식이다. 전송 속도를 억지로 끌어올려 열과 전력을 낭비하는 대신, 통로의 폭을 압도적으로 넓혀 문제의 본질을 해결한 셈이다.

과거에는 메모리 칩을 메인보드 기판 위에 가로로 넓게 늘어놓는 단독주택 단지 형태를 취했다. 그러나 칩과 칩 사이의 물리적 거리가 멀어 신호가 늦게 도달하고 기판 면적도 지나치게 많이 차지했다.HBM은 얇게 깎아낸 메모리 칩을 위로 8층, 12층, 16층씩 수직으로 쌓아 올린 ‘초고층 아파트’ 구조다.종이보다 얇은 DRAM 칩에 머리카락 굵기의 10분의 1도 되지 않는 미세한 구멍을 수천 개 뚫고 전도성 금속을 채워 층간 통로를 잇는데, 이를 실리콘 관통 전극(TSV)이라 부른다. 아파트 각 층 바닥을 수직으로 뚫어 초고속 엘리베이터 통로를 촘촘히 깐 형태다.
이렇게 높이 쌓아 올린 HBM 아파트는 GPU 바로 옆에 바짝 붙여 배치한다. 두 칩 사이 바닥에는 ‘실리콘 인터포저’라는 초정밀 고속도로 기판을 깔아 데이터가 이동하는 물리적 거리를 마이크로미터 단위로 극단적으로 줄인다.

글로벌 3대 제조사 경쟁 구도

HBM은 극도로 까다로운 제조 난도 때문에 전 세계에서 오직 세 기업만이 시장을 과점하고 있다.가장 앞서 달리는 곳은 SK하이닉스다. 시장이 열리기 전부터 연구개발을 지속하여 초기 주도권을 완벽하게 선점했다. 칩을 쌓을 때 특수 액체 보호재를 부어 한 번에 굳히는 독자 공정(MR-MUF)을 도입함으로써, 열 방출 성능을 끌어올리고 불량률을 획기적으로 낮췄다. 이를 통해 엔비디아의 핵심 파트너로 확고히 자리 잡았다.

절치부심한 삼성전자는 막강한 자본력과 설비 규모를 바탕으로 맹렬한 추격전에 나서고 있다. 삼성전자의 가장 강력한 무기는 단일 기업 안에서 메모리 생산, 파운드리(위탁생산), 첨단 2.5D 패키징을 원스톱으로 처리할 수 있는 ‘턴키(Turn-key) 역량’이다. 차세대 공정 혁신을 통해 점유율 역전을 노리고 있다.미국의 유일한 메모리 제조사인 마이크론은 4세대(HBM3)를 건너뛰고 5세대(HBM3E)로 직행하는 과감한 승부수를 던지며 엔비디아 공급망에 진입했다. 미국 정부의 자국 반도체 공급망 육성 정책이라는 든든한 배경을 지니고 있으나, 한국 기업들에 비해 절대적인 웨이퍼 생산 능력이 작다는 한계를 안고 있다.
AI 생태계에서 HBM이 왜 절대적인가?첫째, 초고가 GPU의 연산 자원 낭비를 막는다. 엔비디아의 최신 AI 칩은 개당 수천만 원을 호가한다. HBM이 연산에 필요한 데이터를 쉴 새 없이 밀어 넣어주지 않으면 고가의 연산 장치는 대기 상태에 머물며 제 성능을 발휘하지 못한다.둘째, AI 데이터센터의 전력 소모와 냉각 비용을 대폭 줄인다. 통로가 좁은 일반 메모리로 초고속 통신을 구현하려면 주파수를 억지로 높여야 해 전력 소비와 발열이 폭발적으로 늘어난다. HBM은 수천 개의 넓은 통로로 데이터를 한꺼번에 실어 나르므로 데이터 한 단위당 전력 소모량이 훨씬 낮아 데이터센터 운영 효율을 극대화한다.


HBM은 강력한 무기이지만 뚜렷한 태생적 한계도 지니고 있다.가장 큰 문제는 살인적인 가격이다. 웨이퍼를 얇게 갈아내고 미세 구멍을 뚫어 10층 이상 오차 없이 쌓아야 하므로 제조 공정이 매우 복잡하며, 일반 서버용 DRAM 대비 4~5배 이상 비싸다. 또한 GPU 바로 옆 인터포저라는 제한된 기판 위에만 올려야 하므로 메모리의 물리적 총용량을 무한정 늘릴 수 없다는 물리적 제약도 있다.이러한 특성 때문에 6세대인 HBM4부터는 기성품 규격을 넘어 ‘고객 맞춤형 메모리’로 전환되고 있다. 칩 최하단의 베이스 다이에 고객사가 원하는 특화 기능을 직접 새겨 넣어야 하므로, 메모리 제조사와 대만 TSMC 같은 글로벌 선단 파운드리 간의 긴밀한 합종연횡이 필수가 되었다.

HBM의 비싼 단가와 물리적 용량 한계를 극복하기 위해 세 가지 유력한 기술이 보완재이자 대체재로 주목받고 있다.

첫째는 용량 확장을 책임지는 CXL(컴퓨트 익스프레스 링크)이다. HBM이 연산 칩 바로 옆에서 번개처럼 빠른 속도를 내는 대신 비싸고 용량이 작다면, CXL은 서버 외부에 수십 테라바이트 규모의 일반 DRAM을 블록처럼 유연하게 연결해 용량을 무한대로 늘려주는 거대한 외부 물류창고 역할을 수행한다. 속도는 HBM보다 느리지만 방대한 데이터를 다루는 AI 추론 및 데이터베이스 환경에서 완벽한 상호 보완재로 공존한다.

둘째는 데이터 이동 자체를 없애는 PIM(프로세싱 인 메모리)이다. 데이터를 메모리에서 연산 장치로 가져와 계산하는 기존 방식의 틀을 깨고, 메모리 내부 회로에 작은 계산기를 직접 심어 저장된 자리에서 연산을 즉시 처리한다. 데이터 이동 경로 자체가 사라지므로 병목현상과 전력 낭비를 70~80% 이상 줄일 수 있는 혁신 기술이다.

셋째는 모바일 환경을 위한 LPDDR 기반 패키징이다. 데이터센터가 아닌 스마트폰, 노트북, 자율주행차 같은 온디바이스 AI 환경에서는 고가의 HBM을 탑재하기 어렵다. 애플의 M 시리즈처럼 스마트폰에 쓰이는 초저전력 DRAM(LPDDR) 여러 개를 넓은 대역폭으로 묶어 연산 칩에 직결하는 방식이 저비용·저전력을 동시에 달성하는 최적의 대안으로 활용된다.

HBM의 등장은 지난 반세기 동안 이어져 온 반도체 시장의 주도권을 뒤흔들었다. 메모리는 이제 더 이상 연산 칩 뒤에 숨은 단순한 보조 저장장치가 아니며, 데이터 이동 속도가 곧 인공지능의 지능을 결정짓는 결정적 열쇠가 되었다. HBM은 거대한 AI 문명이 한 걸음 더 나아갈 수 있도록 전 세계 데이터 통로의 폭을 비약적으로 넓혀낸 핵심 동력이다.


김대호 글로벌이코노믹 연구소장 tiger8280@g-enews.com