지난 글에서는 HBM과 DDR·GDDR의 차이를 살펴봤습니다.
DDR은 일반 컴퓨터와 서버의 시스템 메모리로 사용되고, GDDR은 그래픽 처리에 적합하도록 발전했습니다.
HBM은 여러 개의 DRAM 칩을 수직으로 쌓아 GPU에 많은 데이터를 동시에 전달합니다.
설명만 들으면 만드는 방법도 간단해 보입니다.
얇은 메모리 칩을 여러 장 만든 뒤 위로 차곡차곡 쌓으면 되는 것 아닐까요?
하지만 실제 제조 과정은 그렇게 단순하지 않습니다.
HBM 안에는 머리카락보다 훨씬 미세한 연결 통로가 수없이 들어가며, 여러 개의 얇은 칩이 정확한 위치에 맞춰져야 합니다.
칩 하나의 연결 상태가 좋지 않거나 적층 과정에서 작은 변형이 발생하면 전체 HBM의 성능과 품질에 영향을 줄 수 있습니다.
HBM이 일반 메모리보다 만들기 어려운 이유가 바로 여기에 있습니다.
HBM은 하나의 두꺼운 메모리 칩이 아닙니다
HBM의 겉모습만 보면 하나의 정사각형 반도체처럼 보입니다.
하지만 내부에는 여러 개의 얇은 DRAM 다이가 층층이 쌓여 있습니다.
다이(Die)는 반도체 웨이퍼에서 잘라낸 각각의 작은 칩을 의미합니다.
HBM은 이 DRAM 다이들을 수직으로 적층하고, 아래쪽에는 데이터 전송과 제어를 담당하는 베이스 다이를 배치하는 구조를 사용합니다. 쌓인 칩들은 TSV라는 수직 연결 통로를 통해 서로 통신합니다. 삼성전자는 HBM을 여러 메모리 다이를 수직으로 쌓아 TSV로 연결한 메모리로 설명합니다.
쉽게 비유하면 HBM은 여러 층으로 구성된 아파트와 비슷합니다.
- 각 층은 데이터를 저장하는 DRAM 다이입니다.
- 층과 층을 연결하는 엘리베이터가 TSV입니다.
- 아래층의 관리실은 데이터 이동을 제어하는 베이스 다이입니다.
층수를 늘리면 같은 면적에서 더 많은 데이터를 저장할 수 있지만, 건물이 높아질수록 정교한 설계와 시공이 필요해집니다.
첫 번째 단계: DRAM 웨이퍼를 만듭니다
HBM 제조의 출발점도 일반 DRAM과 같습니다.
둥근 실리콘 웨이퍼 위에 데이터를 저장하는 수많은 메모리 셀과 회로를 만듭니다.
웨이퍼 한 장에는 동일한 구조의 DRAM 다이가 여러 개 배치됩니다.
하지만 HBM에 들어가는 DRAM은 이후 여러 층으로 쌓여야 하므로, 일반 메모리보다 적층과 연결을 고려한 설계가 필요합니다.
특히 TSV가 지나갈 공간과 신호가 이동할 회로를 미리 설계해야 합니다. SK하이닉스는 TSV 신호가 DRAM의 주변 회로에서 일정한 면적을 차지하기 때문에 HBM 설계 단계부터 이를 고려해야 한다고 설명합니다.
즉, HBM은 완성된 일반 DRAM을 단순히 쌓는 제품이 아닙니다.
처음 설계할 때부터 쌓기 위한 메모리로 만들어집니다.
두 번째 단계: 실리콘에 TSV 통로를 만듭니다
TSV는 Through-Silicon Via의 약자입니다.
우리말로 풀면 실리콘을 관통하는 수직 연결 통로라는 뜻입니다.
반도체 칩에 미세한 구멍을 만들고, 그 안을 구리 같은 전도성 물질로 채워 전기 신호가 위아래로 이동할 수 있도록 합니다.
기존 반도체 패키지는 칩의 바깥쪽에 가느다란 선을 연결하는 와이어 본딩 방식을 많이 사용했습니다.
TSV는 칩 바깥을 돌아가지 않고 실리콘 내부를 수직으로 관통합니다.
덕분에 연결 거리를 줄이고, 훨씬 많은 데이터 통로를 만들 수 있습니다. 삼성전자와 SK하이닉스는 TSV가 기존 와이어 연결보다 칩 사이의 거리를 줄여 속도와 전력 효율을 높일 수 있는 기술이라고 설명합니다.
아파트에 엘리베이터 하나만 있는 것보다 여러 개의 엘리베이터가 있다면 사람들이 더 빠르게 이동할 수 있습니다.
HBM도 수많은 TSV를 통해 여러 층의 DRAM에서 데이터를 동시에 이동시킵니다.
세 번째 단계: 웨이퍼를 매우 얇게 깎습니다
여러 개의 DRAM 다이를 쌓더라도 완성된 HBM의 두께는 제한되어 있습니다.
칩이 너무 두꺼우면 여러 층을 쌓기 어렵고, GPU와 함께 하나의 패키지 안에 넣기도 힘들어집니다.
그래서 TSV가 형성된 웨이퍼의 뒷면을 정밀하게 깎아 얇게 만드는 과정이 필요합니다.
문제는 실리콘이 얇아질수록 쉽게 휘거나 깨질 수 있다는 것입니다.
SK하이닉스는 12단 HBM3E를 기존 8단 제품과 같은 두께로 만들기 위해 각 DRAM 칩의 두께를 이전보다 약 40% 줄였다고 설명했습니다.
얇은 종이 한 장은 다루기 쉽지만, 아주 얇은 유리판은 작은 힘에도 휘거나 깨질 수 있습니다.
HBM 다이 역시 얇게 만드는 것뿐 아니라, 이후 공정에서 손상되지 않도록 정확하게 다루는 기술이 필요합니다.
네 번째 단계: 웨이퍼를 잘라 DRAM 다이로 만듭니다
웨이퍼 위에 만들어진 수많은 DRAM 회로는 이후 각각의 다이로 잘립니다.
이 과정을 다이싱이라고 합니다.
하지만 모든 다이를 바로 적층에 사용할 수 있는 것은 아닙니다.
적층하기 전에 각 다이가 정상적으로 작동하는지 검사해야 합니다.
여러 층으로 쌓은 뒤 한 개의 다이에서 문제가 발견되면 이미 결합된 다른 다이와 패키지까지 사용할 수 없게 될 수 있기 때문입니다.
그래서 HBM에서는 적층 전부터 정상 다이를 선별하는 검사가 매우 중요합니다.
여러 명이 한 팀으로 경기에 출전하는데, 경기 직전에 한 명이 뛸 수 없다는 사실을 발견하는 것과 비슷합니다.
HBM은 여러 다이가 하나의 제품처럼 작동하므로, 각각의 다이 품질이 전체 제품의 완성도와 연결됩니다.
다섯 번째 단계: 미세한 돌기로 칩을 연결합니다
TSV만 만들었다고 위아래 칩이 자동으로 연결되는 것은 아닙니다.
각 다이의 위아래에는 전기 신호를 전달하기 위한 작은 돌기 형태의 접점이 필요합니다.
이러한 접점을 범프(Bump)라고 부릅니다.
위쪽 다이의 범프와 아래쪽 다이의 범프가 정확히 맞닿아야 TSV를 통해 데이터가 이동할 수 있습니다.
SK하이닉스의 후공정 자료에 따르면 TSV 패키징에서는 웨이퍼 앞면과 뒷면에 형성된 범프를 서로 맞춰 접합하며, 칩과 칩 또는 칩과 웨이퍼를 결합하는 방식이 사용됩니다.
HBM에는 이러한 연결 지점이 매우 많습니다.
따라서 다이의 위치가 조금만 어긋나도 일부 연결이 정상적으로 작동하지 않을 수 있습니다.
여섯 번째 단계: DRAM 다이를 정확하게 쌓습니다
검사를 통과한 DRAM 다이는 정해진 순서에 따라 수직으로 적층됩니다.
이 과정에서는 칩을 정확한 위치에 놓는 것뿐 아니라 적절한 열과 압력을 가해 단단히 접합해야 합니다.
대표적인 적층·접합 방식으로는 TC-NCF와 MR-MUF 등이 있습니다.
TC-NCF
TC-NCF는 칩 사이에 필름 형태의 절연 접착 소재를 놓고 열과 압력을 가해 칩을 붙이는 방식입니다.
각 층을 정밀하게 접합할 수 있지만, 층수가 늘어나면 공정 시간과 열 관리가 중요해집니다.
MR-MUF
MR-MUF는 칩을 쌓은 뒤 액체 형태의 보호 소재를 칩 사이에 채우고 굳혀 연결 부위를 보호하는 방식입니다.
SK하이닉스는 MR-MUF가 적층된 칩 사이에 보호 소재를 주입하고 경화해 회로를 보호하며, 열 방출 측면에서도 장점을 갖는 방식이라고 설명합니다.
어떤 방식이 무조건 더 좋다고 단정할 수는 없습니다.
기업과 제품 세대, 적층 수, 패키지 설계에 따라 적절한 방식이 달라질 수 있습니다.
칩 사이를 빈 공간으로 남겨둘 수는 없습니다
HBM 다이를 쌓고 접점만 연결하면 칩 사이에는 미세한 공간이 남습니다.
이 공간을 그대로 두면 외부 충격이나 열로 인해 연결 부분이 손상될 수 있습니다.
그래서 칩 사이에 절연성과 보호 기능을 가진 재료를 채워 넣습니다.
이 재료는 연결 부위를 보호하고, 적층된 칩을 하나의 구조물처럼 단단하게 만들어 줍니다.
또한 AI 연산 과정에서 발생하는 열을 효과적으로 관리할 수 있도록 열 특성도 고려해야 합니다.
HBM의 층수가 높아질수록 내부에서 발생한 열이 빠져나오기 어려워질 수 있기 때문입니다.
Micron은 HBM 성능 향상에서 TSV 밀도뿐 아니라 전력과 열 특성을 개선하는 첨단 패키징 기술도 중요하다고 설명합니다.
일곱 번째 단계: GPU와 가까운 곳에 배치합니다
완성된 HBM은 일반 DDR 메모리처럼 메인보드의 슬롯에 꽂지 않습니다.
GPU나 AI 가속기와 매우 가까운 곳에 배치됩니다.
이때 GPU와 HBM을 연결하는 넓은 기판 역할을 하는 부품이 인터포저입니다.
GPU와 여러 개의 HBM은 인터포저 위에서 수많은 미세 배선을 통해 연결됩니다.
GPU가 계산할 데이터를 요청하면 HBM은 넓은 데이터 통로를 통해 빠르게 정보를 전달합니다.
HBM이 높은 대역폭을 제공할 수 있는 이유는 메모리 칩 자체의 구조뿐 아니라 GPU와 가까이 배치하는 첨단 패키징 기술이 함께 사용되기 때문입니다. 삼성전자는 HBM의 적층 구조와 넓은 인터페이스가 데이터 집약적인 AI와 고성능 컴퓨팅의 시스템 효율을 높인다고 설명합니다.
즉, HBM 제조는 메모리 회사만의 기술로 끝나지 않습니다.
GPU, 인터포저, 패키지 기판과 냉각 구조까지 함께 맞아야 하나의 AI 가속기가 완성됩니다.
마지막 단계: 완성된 HBM을 다시 검사합니다
HBM은 적층 전에도 검사하지만, 적층과 패키징을 마친 뒤에도 다시 테스트합니다.
각 층의 DRAM이 정상적으로 작동하는지, TSV 연결에 문제가 없는지, 높은 속도에서 데이터 오류가 발생하지 않는지 확인해야 합니다.
또한 실제 사용 환경을 고려해 온도와 전압을 변화시키며 안정성을 검사합니다.
AI 서버는 장시간 높은 부하로 작동하기 때문에 단순히 한 번 작동하는 것만으로는 충분하지 않습니다.
빠른 속도와 높은 용량뿐 아니라 오랜 시간 안정적으로 작동할 수 있어야 합니다.
HBM 제조가 어려운 진짜 이유
HBM 제조가 어려운 이유를 한 문장으로 정리하면 다음과 같습니다.
여러 개의 매우 얇은 반도체를 수많은 미세 연결부로 묶어 하나의 칩처럼 작동시켜야 하기 때문입니다.
HBM에서는 다음 조건을 모두 만족해야 합니다.
- 각각의 DRAM 다이가 정상적으로 작동해야 합니다.
- TSV가 정확하게 형성되어야 합니다.
- 얇은 다이가 휘거나 깨지지 않아야 합니다.
- 수많은 접점이 정확하게 맞아야 합니다.
- 칩 사이의 보호 소재가 빈틈없이 채워져야 합니다.
- 적층된 구조의 열을 효과적으로 관리해야 합니다.
- GPU와 연결되는 첨단 패키징도 정상적으로 작동해야 합니다.
단계가 많고 정밀도가 높기 때문에 한 부분의 문제가 완성품 전체에 영향을 줄 수 있습니다.
이것이 HBM 시장에서 단순한 생산량보다 수율이 중요하게 언급되는 이유입니다.
AIpedia 핵심 요약
- HBM은 여러 개의 DRAM 다이를 수직으로 쌓아 만듭니다.
- TSV는 실리콘을 관통해 위아래 다이를 연결하는 미세한 데이터 통로입니다.
- 적층을 위해 DRAM 다이를 매우 얇게 만들어야 합니다.
- 범프와 접합 기술을 이용해 여러 다이를 정확하게 연결합니다.
- 칩 사이에는 보호 소재를 채워 연결 부위와 열을 관리합니다.
- 완성된 HBM은 GPU와 가까운 곳에 배치되어 대량의 데이터를 전달합니다.
- 공정 단계가 많고 정밀하기 때문에 수율 관리가 매우 중요합니다.