지난 글에서는 HBM3E와 HBM4의 차이를 살펴봤습니다.
HBM4는 입출력 통로를 1,024개에서 2,048개로 늘려 HBM3E보다 훨씬 많은 데이터를 동시에 전달할 수 있게 됐습니다.
하지만 HBM4의 변화는 데이터 통로가 넓어진 것에서 끝나지 않습니다.
HBM 아래쪽에서 데이터와 신호의 흐름을 관리하는 베이스 다이도 크게 달라지고 있습니다.
HBM4부터는 메모리 칩을 얼마나 잘 쌓는지만큼, 맨 아래의 베이스 다이를 어떻게 설계하는지가 중요해졌습니다.
그렇다면 베이스 다이는 정확히 어떤 역할을 할까요?
그리고 반도체 기업들이 이야기하는 ‘맞춤형 HBM’은 기존 HBM과 무엇이 다를까요?
HBM은 DRAM만 쌓아 만든 제품이 아닙니다
HBM을 옆에서 보면 여러 개의 얇은 DRAM 다이가 층층이 쌓여 있습니다.
각 DRAM 다이는 데이터를 저장하며, TSV라는 수직 통로를 통해 위아래로 신호를 주고받습니다.
그런데 이 DRAM 다이 아래에는 다른 역할을 하는 칩이 하나 더 있습니다.
바로 베이스 다이(Base Die) 또는 **로직 베이스 다이(Logic Base Die)**입니다.
Micron은 HBM 제조 과정에서 데이터 저장용 DRAM 다이와 별도로, 시스템과 연결되는 인터페이스 역할을 하는 TSV 기반 로직 다이를 제작한 뒤 그 위에 DRAM 다이들을 적층한다고 설명합니다.
쉽게 비유하면 HBM은 고층 아파트와 같습니다.
- 위에 쌓인 DRAM 다이는 데이터를 보관하는 각 층입니다.
- TSV는 층을 오가는 엘리베이터입니다.
- 베이스 다이는 건물 전체의 출입과 전기, 통신을 관리하는 관리실입니다.
DRAM에 저장된 데이터가 GPU로 이동하려면 결국 맨 아래의 베이스 다이를 지나야 합니다.
베이스 다이는 HBM과 GPU 사이의 관문입니다
HBM 내부에서는 수많은 DRAM 다이가 동시에 데이터를 주고받습니다.
베이스 다이는 이 신호를 정리해 GPU나 AI 가속기 쪽으로 전달하는 연결 지점 역할을 합니다.
또한 HBM이 정상적으로 작동할 수 있도록 신호와 전력의 흐름을 관리하고, 수많은 입출력 통로가 안정적으로 동작하도록 돕습니다.
HBM3E까지는 주로 DRAM의 속도와 적층 수, 메모리 대역폭이 주목받았습니다.
하지만 HBM4는 입출력 통로가 2,048개로 늘어나면서 베이스 다이가 처리해야 하는 신호도 크게 증가했습니다.
교차로에 들어오는 자동차가 두 배로 늘어나면 도로만 넓히는 것으로는 부족합니다.
신호등과 교통관제 시스템까지 함께 개선해야 차량이 막히지 않습니다.
HBM4의 베이스 다이도 이와 비슷한 역할을 합니다.
HBM4에는 왜 첨단 로직 공정이 사용될까요?
과거 HBM의 베이스 다이는 DRAM과 같은 메모리 공정을 기반으로 만들어지는 경우가 많았습니다.
하지만 HBM4부터는 베이스 다이에 더 미세한 로직 반도체 공정을 적용하는 사례가 본격적으로 나타나고 있습니다.
삼성전자는 2026년 상용 출하를 시작한 HBM4에 4나노 로직 베이스 다이를 적용해 성능과 전력 효율, 제품 안정성을 높였다고 발표했습니다.
로직 공정은 CPU와 GPU, 각종 시스템 반도체처럼 복잡한 연산과 제어 기능을 구현하는 데 적합합니다.
더 미세한 공정을 사용하면 제한된 면적에 더 많은 회로를 배치하고, 신호와 전력을 더욱 정교하게 관리할 수 있습니다.
HBM4는 단순한 데이터 저장 장치에서 벗어나, 데이터가 이동하는 방식까지 능동적으로 제어하는 방향으로 발전하고 있는 것입니다.
베이스 다이가 좋아지면 무엇이 달라질까요?
베이스 다이가 발전하면 HBM의 최대 속도만 높아지는 것이 아닙니다.
전체 AI 시스템의 효율도 달라질 수 있습니다.
신호를 안정적으로 전달할 수 있습니다
HBM4에는 2,048개의 입출력 통로가 있습니다.
많은 신호가 동시에 이동하므로 각 통로가 서로 간섭하지 않고 정확한 데이터를 전달하도록 제어해야 합니다.
베이스 다이는 GPU와 HBM 사이에서 이러한 신호 전달을 관리하는 역할을 맡습니다.
전력 소비를 줄일 수 있습니다
데이터가 이동할 때마다 전력이 사용됩니다.
AI 가속기는 매초 막대한 데이터를 HBM과 주고받기 때문에 데이터 이동에 필요한 전력도 무시할 수 없습니다.
베이스 다이의 전력 공급 구조와 회로를 최적화하면 같은 데이터를 더 적은 전력으로 전달할 수 있습니다.
삼성전자는 4나노 로직 베이스 다이와 전력 공급망 최적화를 통해 자사 HBM4의 전력 효율을 높였다고 설명합니다.
데이터 이동 거리를 줄일 수 있습니다
기존에는 HBM 외부나 GPU 쪽에서 처리하던 기능 일부를 베이스 다이에 넣을 수 있습니다.
필요한 기능이 메모리와 가까운 곳에서 작동하면 데이터가 먼 거리를 오가는 횟수를 줄일 수 있습니다.
이는 지연시간과 전력 소비를 낮추는 데 도움이 될 수 있습니다.
맞춤형 HBM이란 무엇일까요?
현재 판매되는 일반적인 HBM은 여러 고객이 사용할 수 있도록 표준 규격에 맞춰 제작됩니다.
GPU나 AI 가속기를 만드는 기업은 정해진 인터페이스에 따라 HBM을 연결합니다.
하지만 AI 칩마다 구조와 처리하려는 작업이 다릅니다.
어떤 칩은 AI 학습에 집중하고, 어떤 칩은 사용자에게 빠르게 답변하는 추론에 집중합니다.
처리하는 데이터의 형태와 전력 조건, 필요한 대역폭도 서로 다를 수 있습니다.
그래서 등장한 개념이 맞춤형 HBM(Custom HBM)입니다.
맞춤형 HBM은 고객의 AI 칩과 작업 환경에 맞춰 베이스 다이와 시스템 구조를 최적화하는 방식입니다.
SK하이닉스는 HBM4 이후의 주요 발전 방향으로 HBM4E와 맞춤형 HBM을 제시하며, 맞춤형 HBM을 고객의 AI 칩과 워크로드에 따라 베이스 다이와 시스템 구조를 최적화하는 접근으로 설명합니다.
베이스 다이에 어떤 기능을 추가할 수 있을까요?
맞춤형 HBM에서는 베이스 다이가 단순히 데이터를 전달하는 역할을 넘어설 수 있습니다.
삼성 파운드리는 맞춤형 HBM의 베이스 다이에 다음과 같은 로직 기능을 통합할 수 있다고 설명합니다.
- 메모리 컨트롤러
- 특정 계산을 돕는 가속기
- 일부 CPU 기능
- 고객의 시스템에 맞춘 제어 회로
메모리 컨트롤러를 베이스 다이에 통합하면 기존 구조보다 데이터 이동 과정에서 발생하는 전력 소비와 지연시간을 줄일 수 있습니다.
물론 실제로 어떤 기능이 들어가는지는 고객의 AI 칩 설계와 HBM 세대에 따라 달라집니다.
모든 HBM4에 CPU나 가속기가 들어간다는 의미는 아닙니다.
중요한 변화는 베이스 다이가 고객 요구에 맞춰 설계될 수 있는 공간으로 바뀌고 있다는 것입니다.
맞춤형 HBM은 왜 AI 시대에 필요할까요?
AI 모델은 모두 같은 방식으로 작동하지 않습니다.
대규모 학습 시스템은 많은 GPU가 긴 시간 동안 막대한 데이터를 처리해야 합니다.
반면 AI 추론 시스템은 수많은 사용자의 요청에 빠르게 답하면서 전력 소비를 줄여야 합니다.
영상 생성 AI는 많은 이미지 데이터를 이동시키고, 장문을 처리하는 언어 모델은 거대한 KV 캐시를 빠르게 읽어 와야 합니다.
모든 AI 칩에 동일한 메모리 구조를 적용하면 특정 작업에서는 불필요한 전력이나 지연이 발생할 수 있습니다.
맞춤형 HBM은 다음과 같은 요소를 고객 시스템에 맞춰 조정하는 방향으로 발전할 수 있습니다.
- 필요한 데이터 대역폭
- 전력 사용 방식
- 메모리 제어 구조
- 오류 수정과 신호 관리
- GPU 및 AI 가속기와의 연결 방식
- 특정 AI 작업에 필요한 추가 기능
옷을 대량으로 동일하게 만드는 대신 사용자 체형에 맞춰 재단하는 것과 비슷합니다.
표준 HBM이 다양한 AI 칩에 사용할 수 있는 기성복이라면, 맞춤형 HBM은 특정 AI 가속기에 맞춘 정장에 가깝습니다.
메모리 회사만으로는 만들기 어려워집니다
기존 HBM 경쟁에서는 고성능 DRAM을 만들고 얇게 쌓는 메모리 기술이 가장 중요했습니다.
하지만 베이스 다이에 첨단 로직 공정을 적용하고 고객 전용 기능을 넣으려면 시스템 반도체 설계와 파운드리 기술도 필요합니다.
이 때문에 HBM4 이후에는 여러 기업의 협력이 더욱 중요해지고 있습니다.
- 메모리 기업은 DRAM과 적층 기술을 담당합니다.
- 파운드리 기업은 첨단 로직 베이스 다이를 생산합니다.
- AI 가속기 기업은 필요한 기능과 시스템 구조를 설계합니다.
- 패키징 기업은 GPU와 HBM을 정밀하게 연결합니다.
TSMC는 HBM4의 로직 베이스 다이에 자사 N12 공정을, 맞춤형 HBM4E에는 N3P 공정을 활용하는 방향을 소개했습니다.
Micron 역시 표준형 및 맞춤형 HBM4E의 베이스 로직 다이 생산을 위해 TSMC와 협력하고 있다고 밝혔습니다.
HBM 경쟁이 메모리 기업끼리의 경쟁을 넘어 파운드리와 패키징, AI 칩 설계 기업이 함께 움직이는 생태계 경쟁으로 바뀌는 이유입니다.
삼성전자는 왜 HBM4에서 특별한 구조를 갖고 있을까요?
삼성전자는 메모리 반도체뿐 아니라 파운드리와 시스템 반도체 사업도 함께 운영합니다.
따라서 DRAM 다이와 로직 베이스 다이, 첨단 패키징을 하나의 회사 안에서 연결할 수 있다는 점을 강점으로 내세우고 있습니다.
삼성전자는 HBM4부터 첨단 로직 공정을 베이스 다이에 적용해 고객별 요구에 대응한다는 계획을 밝혔으며, 메모리·파운드리·시스템LSI 역량을 함께 보유한 점을 강조했습니다.
다만 여러 사업을 모두 보유하고 있다는 사실이 자동으로 시장 경쟁력을 보장하는 것은 아닙니다.
HBM은 실제 성능과 수율, 고객 인증, 공급 일정과 패키징 능력까지 함께 충족해야 합니다.
결국 중요한 것은 각 기술을 보유했는지가 아니라, 고객이 원하는 제품을 안정적으로 양산할 수 있는지입니다.
HBM은 메모리에서 하나의 시스템으로 변하고 있습니다
기존의 메모리는 데이터를 저장하고 요청받은 정보를 전달하는 부품으로 여겨졌습니다.
하지만 AI 시대에는 데이터 이동 자체가 시스템 성능과 전력 소비를 결정하는 중요한 요소가 됐습니다.
GPU의 계산 능력이 아무리 높아도 메모리가 데이터를 늦게 전달하면 AI 시스템은 제 성능을 내지 못합니다.
그래서 HBM은 단순히 더 빠른 DRAM이 아니라 다음 요소를 하나로 묶는 방향으로 발전하고 있습니다.
- 데이터를 저장하는 DRAM
- 신호와 전력을 관리하는 베이스 다이
- GPU와 연결되는 초고속 인터페이스
- 고객의 AI 작업에 최적화된 제어 기능
- 첨단 패키징과 냉각 구조
HBM4의 핵심은 메모리를 더 높이 쌓는 것만이 아니라, 메모리 아래에 더 똑똑한 기반을 만드는 것입니다.
베이스 다이가 발전할수록 HBM은 단순 부품보다 하나의 작은 시스템에 가까워질 가능성이 큽니다.
맞춤형 HBM에도 단점은 있습니다
고객의 AI 칩에 맞춰 HBM을 설계하면 성능과 전력 효율을 높일 수 있지만, 해결해야 할 문제도 있습니다.
개발 비용이 커질 수 있습니다
고객마다 다른 베이스 다이를 설계하면 표준 제품보다 개발 과정이 복잡해집니다.
새로운 설계와 검증, 제조용 마스크에도 비용이 들어갑니다.
개발 기간이 길어질 수 있습니다
메모리 기업과 AI 칩 기업, 파운드리가 설계 초기부터 함께 협력해야 합니다.
한쪽의 설계가 변경되면 다른 부품도 영향을 받을 수 있습니다.
범용성이 낮아집니다
특정 AI 가속기에 맞춘 HBM은 다른 제품에 그대로 사용하기 어려울 수 있습니다.
예상보다 고객 제품의 판매량이 적으면 생산 계획에도 부담이 될 수 있습니다.
따라서 앞으로도 모든 HBM이 맞춤형으로 바뀌기보다는, 표준 HBM과 맞춤형 HBM이 용도에 따라 함께 사용될 가능성이 높습니다.
AIpedia 핵심 요약
- 베이스 다이는 적층된 DRAM과 GPU 사이에서 데이터와 신호를 연결하는 HBM의 기반 칩입니다.
- HBM4는 입출력 통로가 2,048개로 늘어나 베이스 다이의 신호와 전력 관리 역할이 중요해졌습니다.
- 삼성전자는 HBM4 베이스 다이에 4나노 로직 공정을 적용했습니다.
- 맞춤형 HBM은 고객의 AI 칩과 워크로드에 맞춰 베이스 다이와 시스템 구조를 최적화합니다.
- 베이스 다이에는 메모리 컨트롤러나 가속 기능 같은 추가 로직을 넣을 수 있습니다.
- 맞춤형 HBM이 확대되면 메모리 기업과 파운드리, AI 칩 기업의 협력이 더욱 중요해집니다.
- HBM은 단순한 메모리에서 데이터 처리와 제어 기능을 포함한 하나의 시스템으로 발전하고 있습니다.