가속기 위에 메모리 얹은 삼성, '초당 1000토큰'으로 AI 병목 깬다

삼성전자가 기존 대화형 인공지능 대비 10배 빠른 차세대 메모리 아키텍처 'zHBM'의 개발 목표를 공개했다.
정보기술 전문 매체 새미팬즈는 9월 17일(현지시각) 삼성전자가 가속기 다이 위에 메모리를 수직으로 적층하는 설계를 제시했다고 보도했다. 이 설계는 기존 2.5D 인터포저 배선 한계로 나타나는 데이터 전송 병목을 줄여 한국 반도체 패키징 공정 구조를 바꾸는 변곡점으로 평가받는다.


기존 고대역폭 메모리(HBM) 구조는 인터포저 기판 위에 가속기와 메모리를 나란히 수평 배치하는 방식을 쓴다. 이 구조는 반도체 사이를 잇는 물리적 배선 길이가 길어 데이터 이동 과정에서 신호 지연이 발생한다. 전력 소모도 함께 커진다.
삼성전자는 연산 장치와 저장 장치 사이의 물리적 거리를 단축하는 대안으로 수직 결합 구조를 제시했다. 김인동 삼성전자 미국법인(DSA) 메모리 상품기획 담당 부사장은 미국 산타클라라에서 열린 AI 인프라 서밋에서 이 기술 구조를 설명했다. 가속기 다이 바로 위에 HBM을 올리면 데이터 이동 경로가 획기적으로 줄어든다. 삼성전자는 첨단 웨이퍼 본딩 공정을 활용해 이 적층 방식을 구현한다는 구상이다.


삼성전자가 설정한 목표 처리량은 사용자 1인당 초당 1000토큰이다. 현재 서비스되는 대화형 인공지능 시스템의 평균 처리량은 초당 약 100토큰 수준이다. 다단계 추론과 연속 작업을 수행하는 에이전트 인공지능 환경에서는 데이터 입출력량이 급격히 늘어난다.

삼성전자는 zHBM 아키텍처가 HBM5와 비교해 성능을 최대 8배 끌어올릴 수 있다고 밝혔다. 에너지 효율은 3배 높이고 열 저항은 크게 낮춘다는 계획이다. 다만 이 수치들은 양산 검증을 거치지 않은 설계 목표치다.

고열을 내뿜는 가속기 다이 바로 위에 메모리를 밀착하는 구조는 열 방출에 큰 부담을 준다. 삼성전자는 이 발열과 구조 통합 난제를 해결하기 위해 칩 기획 초기부터 고객사와 긴밀한 공동 설계를 진행해야 한다고 짚었다.

삼성전자의 zHBM 개발 추진은 한국 반도체 후공정 밸류체인에 장비와 소재 전환 압력을 가하는 요인이다. 실리콘 인터포저 중심의 2.5D 패키징 공정이 가속기 다이 직접 접합 방식으로 바뀌면 하이브리드 본딩 장비와 고열 방출용 언더필 소재 도입이 필수가 된다. 삼성전자는 반기보고서에서 차세대 패키징 설비 확충 기조를 밝혔으나, zHBM 전용 라인 투자액은 별도로 공시하지 않았다.

기술의 성패는 연산부 발열 해소와 고객사 아키텍처 채택 여부에 달렸다. 가속기 팹리스와의 열 제어 공동 설계 논의가 초기 선행 과제로 진행되며, 웨이퍼 본딩 수율 확보 수준에 따라 양산 라인의 구체적 규격이 확정될 수 있다. 반면 결합 부위의 열 집중을 풀지 못해 고객사가 기존 2.5D 패키징 방식을 연장 적용할 경우 3D 적층 양산 전환은 늦춰지게 된다.


김주원 글로벌이코노믹 기자 park@g-enews.com