지난 글에서는 AI가 CPU보다 GPU를 주로 사용하는 이유를 살펴봤습니다.
GPU는 수많은 계산을 동시에 처리하는 병렬 연산에 강합니다. 덕분에 ChatGPT와 이미지 생성 AI처럼 대규모 계산이 필요한 인공지능도 빠르게 학습하고 답변을 만들 수 있습니다.
그렇다면 강력한 GPU를 많이 설치하기만 하면 AI 성능은 계속 높아질까요?
생각처럼 단순하지는 않습니다.
GPU가 아무리 빠르게 계산할 수 있어도, 계산에 필요한 데이터가 늦게 도착하면 기다릴 수밖에 없기 때문입니다.
세계에서 가장 빠른 계산기도 데이터를 받지 못하면 아무것도 계산할 수 없습니다.
AI 시대에 GPU만큼 메모리가 중요해진 이유가 바로 여기에 있습니다.
그리고 이 문제를 해결하기 위해 주목받은 기술이 HBM(High Bandwidth Memory)입니다.
GPU가 빨라도 데이터가 늦으면 소용없습니다
대형 식당의 주방을 떠올려 보겠습니다.
수천 명의 요리사가 동시에 음식을 만들 준비를 마쳤습니다. 하지만 식재료가 좁은 문 하나를 통해 조금씩 들어온다면 어떻게 될까요?
요리사들의 실력이 아무리 뛰어나도 재료가 도착할 때까지 기다려야 합니다.
AI 시스템도 비슷합니다.
- GPU는 계산을 담당하는 요리사입니다.
- 메모리는 계산에 필요한 데이터를 보관하는 창고입니다.
- 메모리 대역폭은 창고에서 주방으로 이어지는 통로의 크기입니다.
AI 모델은 수많은 데이터를 GPU와 메모리 사이에서 계속 주고받습니다. 그런데 데이터가 이동하는 통로가 좁으면 GPU는 계산을 끝낸 뒤 다음 데이터를 기다리게 됩니다.
이를 흔히 메모리 병목 현상이라고 부릅니다.
SK하이닉스는 HBM이 용량과 대역폭을 동시에 높여 이러한 메모리 병목 문제를 해결하기 위한 기술로 발전했다고 설명합니다.
HBM이란 무엇일까요?
HBM은 High Bandwidth Memory, 우리말로는 고대역폭 메모리라고 합니다.
여기서 대역폭은 일정한 시간 동안 얼마나 많은 데이터를 이동시킬 수 있는지를 의미합니다.
도로에 비유하면 이해하기 쉽습니다.
일반 메모리가 왕복 2차선 도로라면 HBM은 여러 차선이 넓게 펼쳐진 고속도로에 가깝습니다.
자동차 한 대의 최고 속도만 높이는 것이 아니라, 많은 자동차가 동시에 이동할 수 있도록 통로 자체를 넓힌 것입니다.
HBM은 여러 개의 DRAM 칩을 수직으로 쌓고, 칩을 관통하는 연결 통로인 TSV를 이용해 위아래 칩을 연결한 메모리입니다. 삼성전자와 SK하이닉스도 HBM의 핵심 구조를 수직 적층과 TSV 기반 연결로 설명하고 있습니다.
메모리 칩을 왜 위로 쌓을까요?
기존 반도체는 여러 개의 칩을 기판 위에 옆으로 배치하는 방식이 일반적이었습니다.
하지만 칩을 옆으로 계속 늘어놓으면 공간이 많이 필요하고, 데이터가 이동해야 하는 거리도 길어집니다.
HBM은 다른 방법을 선택했습니다.
아파트가 좁은 땅에 많은 가구를 수용하기 위해 위로 올라가는 것처럼, 여러 개의 메모리 칩을 수직으로 쌓습니다.
이렇게 하면 작은 공간에 더 많은 메모리를 배치할 수 있고, 칩 사이의 연결 거리도 줄일 수 있습니다.
다만 단순히 칩을 포개 놓는다고 데이터가 이동하는 것은 아닙니다.
위층과 아래층을 연결하는 엘리베이터가 필요합니다.
그 역할을 하는 기술이 바로 TSV(Through-Silicon Via)입니다.
TSV는 메모리 칩을 관통하는 데이터 통로입니다
TSV는 반도체 칩에 미세한 구멍을 만들고, 그 안에 전기가 흐를 수 있는 연결 통로를 형성하는 기술입니다.
이 통로를 통해 위아래로 쌓인 여러 DRAM 칩이 데이터를 빠르게 주고받습니다.
기존 방식처럼 칩 바깥쪽을 돌아서 연결하는 것이 아니라 칩 내부를 수직으로 관통하기 때문에 이동 경로를 짧게 만들 수 있습니다.
SK하이닉스는 TSV를 DRAM 칩에 수많은 미세 구멍을 만들고 전극으로 위아래 칩을 연결하는 기술이라고 설명합니다. HBM은 이러한 구조를 이용해 성능을 높이면서도 차지하는 면적을 줄입니다.
쉽게 정리하면 다음과 같습니다.
- 여러 개의 DRAM을 위로 쌓습니다.
- TSV로 각 층을 수직 연결합니다.
- 넓은 데이터 통로를 통해 많은 정보를 동시에 전달합니다.
- GPU 가까이에 배치해 데이터 이동 거리를 줄입니다.
결국 HBM은 단순히 속도가 빠른 메모리가 아니라, 구조 자체를 바꿔 더 많은 데이터를 한꺼번에 전달하는 메모리입니다.
HBM은 왜 GPU 가까이에 있을까요?
컴퓨터의 일반 메모리는 CPU나 GPU와 어느 정도 떨어진 곳에 장착됩니다.
데이터는 기판의 회로를 따라 이동해야 하고, 거리가 길어질수록 전력과 시간이 더 필요해질 수 있습니다.
반면 HBM은 GPU나 AI 가속기와 가까운 곳에 함께 배치되는 형태로 사용됩니다. SK하이닉스도 HBM을 GPU와 AI 가속기의 패키지 내부에서 주로 사용하는 메모리 제품으로 설명합니다.
요리사 바로 옆에 재료 창고를 두는 것과 비슷합니다.
재료를 멀리 있는 창고에서 가져오는 대신 손을 뻗으면 닿는 곳에 두면 훨씬 빠르게 요리할 수 있습니다.
AI 시스템에서도 GPU와 HBM 사이의 거리를 줄이고 데이터 통로를 넓히면, GPU가 데이터를 기다리는 시간을 줄일 수 있습니다.
일반 메모리보다 HBM이 무조건 좋은 것은 아닙니다
여기서 한 가지 오해하기 쉬운 부분이 있습니다.
HBM이 빠르다고 해서 모든 컴퓨터의 메모리를 HBM으로 바꾸는 것이 좋은 것은 아닙니다.
HBM은 여러 개의 칩을 수직으로 쌓고 정밀하게 연결해야 하므로 설계와 제조가 복잡합니다. GPU나 AI 가속기와 함께 패키징하는 과정에서도 높은 수준의 기술이 필요합니다.
따라서 일반 문서 작성이나 인터넷 검색처럼 대규모 병렬 연산이 필요하지 않은 작업에서는 기존 메모리만으로도 충분할 수 있습니다.
HBM은 특히 다음과 같이 데이터를 빠르게 대량으로 전달해야 하는 분야에 적합합니다.
- 생성형 AI 학습과 추론
- 고성능 컴퓨팅
- 대규모 데이터 분석
- 고성능 그래픽 처리
- AI 서버와 데이터센터
삼성전자 역시 HBM의 넓은 인터페이스와 적층 구조가 데이터 집약적이고 병렬성이 높은 AI 및 고성능 컴퓨팅 작업에 적합하다고 설명합니다.
HBM의 진짜 가치는 속도만이 아닙니다
HBM을 이야기할 때는 주로 데이터 전송 속도를 강조합니다.
하지만 AI 서버에서는 전력 효율과 공간도 중요합니다.
AI 데이터센터에는 수많은 가속기가 설치되며, 이 장비들이 사용하는 전력과 발생시키는 열도 함께 관리해야 합니다.
HBM은 여러 DRAM을 수직으로 쌓아 작은 면적에 높은 용량과 넓은 대역폭을 구현하는 방향으로 발전해 왔습니다. 최신 제품들은 초당 1TB가 넘는 데이터를 전달할 수 있는 수준까지 발전했지만, 세대와 제품에 따라 용량과 성능은 달라집니다.
결국 AI 반도체 경쟁은 GPU의 계산 속도만으로 결정되지 않습니다.
GPU에 데이터를 얼마나 빠르게 공급하고, 얼마나 효율적으로 열과 전력을 관리하는지도 함께 중요합니다.
HBM이 AI 시대의 핵심 메모리가 된 이유
AI 모델은 점점 더 많은 데이터를 사용하고 있습니다.
처리해야 할 데이터가 늘어날수록 GPU가 수행해야 하는 계산도 많아지고, 메모리와 GPU 사이를 이동하는 정보도 증가합니다.
이때 메모리의 속도가 충분하지 않으면 비싼 GPU를 설치하고도 성능을 온전히 활용하지 못할 수 있습니다.
HBM은 이 문제를 해결하기 위해 다음 세 가지를 제공합니다.
- 넓은 대역폭으로 많은 데이터를 동시에 전달합니다.
- 수직 적층 구조로 작은 공간에 여러 메모리 칩을 배치합니다.
- GPU와 가까운 위치에서 데이터 이동 거리를 줄입니다.
GPU가 AI의 계산을 담당하는 엔진이라면 HBM은 엔진에 연료를 빠르게 공급하는 장치와 같습니다.
강력한 엔진만큼 중요한 것은 엔진이 멈추지 않도록 필요한 것을 계속 공급하는 일입니다.
AIpedia 핵심 요약
- HBM은 High Bandwidth Memory의 약자로 고대역폭 메모리를 의미합니다.
- 여러 개의 DRAM 칩을 수직으로 쌓고 TSV 기술로 연결합니다.
- 넓은 데이터 통로를 통해 GPU에 많은 데이터를 빠르게 전달합니다.
- GPU가 데이터를 기다리는 메모리 병목 현상을 줄이는 데 도움을 줍니다.
- AI 학습과 고성능 컴퓨팅처럼 대규모 데이터 처리가 필요한 분야에서 중요합니다.