지난 글에서는 GPU가 아무리 빠르게 계산하더라도 데이터가 늦게 도착하면 성능을 제대로 발휘할 수 없다는 사실을 살펴봤습니다.
이러한 메모리 병목 문제를 줄이기 위해 등장한 기술이 바로 HBM, 고대역폭 메모리입니다.
그런데 여기서 한 가지 의문이 생깁니다.
컴퓨터에는 이미 DDR 메모리가 들어가고, 그래픽카드에는 GDDR 메모리가 사용됩니다.
그렇다면 굳이 구조가 복잡하고 가격도 비싼 HBM이 필요한 이유는 무엇일까요?
HBM, DDR, GDDR은 모두 데이터를 저장하는 메모리지만, 데이터를 전달하는 방법과 사용 목적이
다릅니다.
이 차이를 이해하면 AI 반도체 시장에서 HBM이 중요한 이유도 자연스럽게 알 수 있습니다.
세 메모리는 모두 DRAM에서 시작합니다
HBM과 DDR, GDDR은 서로 전혀 다른 종류의 반도체처럼 보이지만, 모두 DRAM 계열의 메모리입니다.
DRAM은 CPU와 GPU가 작업할 때 필요한 데이터와 명령어를 잠시 보관하는 작업 공간입니다. 전원이 꺼지면 저장된 내용이 사라지는 휘발성 메모리이지만, 저장장치보다 훨씬 빠르게 데이터를 읽고 쓸 수 있습니다.
다만 모든 기기가 메모리에서 원하는 성능은 같지 않습니다.
일반 컴퓨터는 다양한 프로그램을 안정적으로 실행할 수 있는 충분한 용량과 가격이 중요합니다.
그래픽카드는 고해상도 화면을 빠르게 그리기 위해 많은 영상 데이터를 처리해야 합니다.
AI 가속기는 수많은 계산 장치에 막대한 데이터를 동시에 공급해야 합니다.
이처럼 사용 목적이 달라지면서 DRAM도 DDR, GDDR, HBM으로 나뉘어 발전했습니다. 삼성전자 역시 DDR은 PC와 서버, GDDR은 그래픽카드, HBM은 AI 가속기와 고성능 컴퓨팅에 주로 사용되는 DRAM이라고 구분합니다.
DDR은 컴퓨터의 넓은 작업 책상입니다
DDR은 Double Data Rate의 약자로, 한 번의 클록 주기에서 데이터를 두 차례 전송하는 DRAM 규격입니다.
우리가 사용하는 데스크톱과 노트북, 서버의 메인 메모리 대부분이 DDR 계열입니다.
컴퓨터를 책상에 비유하면 DDR은 여러 문서와 프로그램을 펼쳐 놓는 넓은 작업 공간과 같습니다.
DDR의 가장 큰 장점은 다음과 같습니다.
- 비교적 큰 용량을 구성하기 쉽습니다.
- 메모리 모듈을 추가하거나 교체할 수 있습니다.
- 성능과 가격의 균형이 좋습니다.
- 일반 PC부터 대형 서버까지 폭넓게 사용할 수 있습니다.
AI 서버에서도 DDR은 여전히 중요합니다.
운영체제와 프로그램을 실행하고, 데이터를 준비하며, CPU가 처리할 정보를 저장하는 시스템 메모리 역할을 맡습니다.
하지만 DDR은 GPU의 수많은 연산 장치에 데이터를 한꺼번에 공급하는 용도로만 설계된 메모리는 아닙니다.
대규모 AI 계산에서는 용량뿐 아니라 짧은 시간 안에 얼마나 많은 데이터를 이동시키는가가 중요하기 때문입니다.
GDDR은 그래픽 처리를 위해 속도를 높인 메모리입니다
GDDR은 Graphics Double Data Rate의 약자로, 그래픽 처리에 적합하도록 발전한 메모리입니다.
그래픽카드는 화면에 표시되는 이미지와 영상, 3D 그래픽 데이터를 빠르게 처리해야 합니다.
게임 속 장면 하나를 보여주기 위해서도 수많은 질감, 빛, 그림자와 위치 정보를 계속 주고받아야 합니다.
그래서 GDDR은 일반 DDR보다 높은 데이터 전송 속도와 대역폭을 확보하는 데 초점을 맞춥니다.
최신 GDDR은 그래픽카드뿐 아니라 일부 AI 추론과 고성능 연산 장치에도 활용됩니다. 삼성전자는 GDDR7을 그래픽과 가속 AI를 포함해 높은 대역폭이 필요한 작업을 위한 고성능 그래픽 DRAM으로 소개합니다.
그래픽카드를 살펴보면 GPU 주변에 여러 개의 직사각형 메모리 칩이 배치된 모습을 볼 수 있습니다.
이 메모리 칩들이 바로 GDDR입니다.
GPU와 비교적 가까운 곳에 배치되어 빠르게 데이터를 전달하지만, 여러 메모리 칩이 기판 위에 나란히 연결되는 구조입니다.
HBM은 데이터가 지나가는 통로 자체를 넓혔습니다
HBM은 DDR이나 GDDR처럼 데이터 전송 속도만 높인 메모리가 아닙니다.
여러 개의 DRAM 칩을 수직으로 쌓고, TSV라는 미세한 수직 통로로 연결합니다.
여기에 GPU나 AI 가속기와 매우 가까운 곳에 HBM을 배치하고, 훨씬 넓은 인터페이스로 많은 데이터를 동시에 전달합니다.
삼성전자는 HBM의 특징을 TSV 기반 적층 구조와 넓은 인터페이스를 이용한 고대역폭 데이터 이동으로 설명하며, 데이터가 많고 병렬성이 높은 AI 학습과 고성능 컴퓨팅에 적합하다고 소개합니다.
도로로 비유하면 차이가 분명해집니다.
- DDR: 다양한 차량이 다니는 일반 도로
- GDDR: 자동차가 빠르게 달릴 수 있는 고속도로
- HBM: 수많은 차량이 동시에 이동하는 초대형 다차선 고속도로
GDDR은 한 차선에서 데이터를 더 빠르게 보내는 방향에 가깝고, HBM은 데이터가 이동할 수 있는 차선을 대폭 늘리는 방향에 가깝습니다.
AI는 수많은 계산 장치가 동시에 데이터를 요구하기 때문에, HBM처럼 통로가 넓은 메모리가 유리합니다.
HBM·DDR·GDDR의 차이를 비교하면
| 구분 | DDR | GDDR | HBM |
|---|---|---|---|
| 주요 사용처 | PC·서버의 시스템 메모리 | 그래픽카드·그래픽 가속기 | AI 가속기·고성능 컴퓨팅 |
| 핵심 목표 | 용량·가격·범용성 | 높은 그래픽 처리 속도 | 초고대역폭·전력 효율 |
| 배치 방식 | 메인보드의 메모리 모듈 | GPU 주변 기판에 배치 | GPU와 같은 패키지 가까이에 배치 |
| 구조 | 일반적인 메모리 모듈 | 여러 칩을 수평 배치 | 여러 DRAM 칩을 수직 적층 |
| 장점 | 확장성과 가격 경쟁력 | 높은 속도와 비교적 유연한 구성 | 많은 데이터를 동시에 전달 |
| 단점 | 고성능 AI에서는 대역폭 한계 | HBM보다 좁은 인터페이스 | 제조·패키징이 복잡하고 가격이 높음 |
세 메모리 중 하나가 무조건 가장 뛰어난 것은 아닙니다.
각각 맡은 역할이 다릅니다.
일반 컴퓨터에 HBM을 사용하면 비용과 설계 복잡성이 지나치게 커질 수 있고, 초대형 AI 모델을 DDR만으로 처리하면 GPU가 필요한 데이터를 기다리는 시간이 늘어날 수 있습니다.
AI는 왜 DDR나 GDDR만으로 부족할까요?
정확히 말하면 AI를 DDR나 GDDR로 처리할 수 없는 것은 아닙니다.
실제로 비교적 작은 AI 모델이나 개인용 그래픽카드에서는 GDDR이 널리 사용됩니다. 서버에서도 DDR은 시스템 메모리로 계속 중요한 역할을 맡습니다.
문제는 AI 모델의 규모가 커졌을 때입니다.
대형 언어 모델은 수많은 매개변수와 중간 계산 결과를 메모리에서 계속 읽어 와야 합니다.
GPU의 연산 장치가 많아질수록 동시에 요구하는 데이터도 증가합니다.
이때 메모리 대역폭이 충분하지 않으면 GPU는 계산을 끝내고 다음 데이터가 도착할 때까지 기다리게 됩니다.
마이크론은 HBM을 복잡한 AI 연산이 요구하는 높은 대역폭을 충족하기 위한 메모리로 설명하며, AI 학습 환경에서는 HBM이 대역폭과 속도, 에너지 효율 측면에서 가장 높은 수준의 선택지가 될 수 있다고 안내합니다. 반면 DDR은 규모가 큰 시스템에서 비용 효율적인 시스템 메모리 역할을 수행합니다.
즉, AI 서버에서는 HBM과 DDR 중 하나만 사용하는 것이 아닙니다.
- DDR은 서버 전체가 사용할 데이터와 프로그램을 보관합니다.
- HBM은 GPU가 당장 계산해야 할 데이터를 빠르게 공급합니다.
- 저장장치는 학습 데이터와 모델 파일을 장기간 보관합니다.
각각의 메모리와 저장장치가 단계별로 역할을 나누는 것입니다.
GDDR도 빠른데 HBM을 사용하는 이유
GDDR 역시 빠른 메모리입니다.
개인용 그래픽카드와 워크스테이션, 일부 AI 추론 작업에서는 GDDR이 성능과 가격 사이에서 훌륭한 선택이 될 수 있습니다.
하지만 최첨단 AI 가속기는 GPU 내부에 훨씬 많은 연산 장치를 가지고 있으며, 이 연산 장치들을 쉬지 않고 작동시키려면 막대한 양의 데이터를 동시에 공급해야 합니다.
HBM은 GPU와 가까운 위치, 넓은 인터페이스, 수직 적층 구조를 이용해 제한된 공간에서 매우 높은 대역폭을 제공합니다.
마이크론은 HBM이 동일한 용량에서 높은 대역폭과 작은 설치 면적, 높은 에너지 효율을 제공해 복잡한 대형 언어 모델의 메모리 병목 문제를 줄이는 데 적합하다고 설명합니다.
결국 GDDR이 빠른 스포츠카라면, HBM은 수많은 차량을 한 번에 이동시키는 고속 철도에 가깝습니다.
AI에서는 데이터 한 개를 빠르게 보내는 것뿐 아니라, 엄청난 양의 데이터를 동시에 이동시키는 능력이 필요합니다.
HBM이 모든 메모리를 대체하지는 않습니다
AI 시장에서 HBM이 주목받는다고 해서 DDR와 GDDR이 사라지는 것은 아닙니다.
DDR은 PC와 서버의 시스템 메모리로 계속 필요하고, GDDR은 그래픽카드와 가격 효율이 중요한 가속 장치에서 사용됩니다.
HBM은 최고 수준의 대역폭이 필요한 AI 가속기와 고성능 컴퓨팅에 집중됩니다.
세 메모리는 경쟁자라기보다 서로 다른 자리에서 역할을 맡는 부품에 가깝습니다.
AI 시대에는 HBM만 필요한 것이 아니라 DDR, GDDR, 저장장치와 네트워크까지 함께 발전해야 전체 시스템의 성능이 높아집니다.
AIpedia 핵심 요약
- HBM, DDR, GDDR은 모두 DRAM 계열의 메모리입니다.
- DDR은 PC와 서버에서 용량과 범용성을 담당합니다.
- GDDR은 그래픽과 빠른 데이터 처리를 위해 발전했습니다.
- HBM은 여러 DRAM을 수직으로 쌓아 매우 넓은 대역폭을 제공합니다.
- 고성능 AI에서는 GPU에 많은 데이터를 동시에 공급해야 하므로 HBM이 중요합니다.
- DDR와 GDDR이 부족한 메모리인 것은 아니며, 사용 목적과 역할이 서로 다릅니다.