지난 글에서는 HBM의 베이스 다이가 어떤 역할을 하는지 살펴봤습니다.
베이스 다이는 여러 층으로 쌓인 DRAM과 GPU 사이에서 데이터와 신호의 흐름을 관리합니다.
그런데 베이스 다이가 데이터를 정리했다고 해서 곧바로 GPU에 전달되는 것은 아닙니다.
GPU와 HBM 사이에는 수천 개가 넘는 미세한 신호 통로가 필요하고, 두 부품을 매우 가까운 거리에서 정확하게 연결해야 합니다.
일반적인 메인보드 배선만으로는 이러한 연결을 구현하기 어렵습니다.
GPU가 계산을 담당하고 HBM이 데이터를 공급한다면, CoWoS는 두 부품이 빠르게 대화할 수 있도록 연결하는 거대한 다리입니다.
AI 반도체에서 CoWoS가 중요한 이유가 바로 여기에 있습니다.
CoWoS는 무엇의 약자일까요?
CoWoS는 Chip-on-Wafer-on-Substrate의 약자입니다.
우리말로 풀면 칩을 웨이퍼 위에 올리고, 다시 이를 패키지 기판 위에 결합하는 첨단 패키징 방식입니다.
TSMC는 CoWoS를 여러 개의 시스템 반도체와 HBM 스택을 하나의 패키지에 통합해 높은 연산 성능과 메모리 대역폭을 구현하는 2.5D 패키징 기술로 설명합니다. CoWoS는 2012년부터 양산됐으며, 생성형 AI가 확산된 2022년 말 이후 수요가 더욱 커졌습니다.
이름만 보면 구조가 복잡하게 느껴지지만, 크게 세 부분으로 나눠 보면 이해하기 쉽습니다.
- Chip: GPU, AI 가속기와 HBM
- Wafer: 칩들을 연결하는 인터포저
- Substrate: 완성된 패키지를 서버 기판과 연결하는 패키지 기판
즉, GPU와 여러 개의 HBM을 넓은 중간 연결판 위에 배치한 뒤, 이를 다시 튼튼한 패키지 기판 위에 올리는 구조입니다.
GPU와 HBM은 왜 가까이 붙여야 할까요?
AI 연산에서는 GPU와 HBM 사이에서 엄청난 양의 데이터가 계속 이동합니다.
두 부품의 거리가 멀어지면 신호가 지나가야 하는 경로도 길어집니다.
경로가 길어질수록 신호 전달에 시간이 더 필요하고, 전력 소비와 신호 손실도 커질 수 있습니다.
그래서 HBM은 일반 DDR처럼 메인보드의 멀리 떨어진 슬롯에 장착되지 않습니다.
GPU 바로 옆에 배치됩니다.
하지만 단순히 두 칩을 가까이 놓는 것만으로는 부족합니다.
GPU와 HBM에는 매우 많은 입출력 통로가 있으며, 이 통로들을 촘촘하고 정확하게 연결해야 합니다.
HBM4는 입출력 통로가 2,048개에 달하기 때문에 패키징 기술의 중요성이 더욱 커집니다.
인터포저는 칩 사이에 놓이는 초정밀 연결판입니다
CoWoS의 핵심 부품은 인터포저(Interposer)입니다.
인터포저는 GPU와 HBM 아래에 놓이는 얇고 넓은 중간 기판입니다.
겉보기에는 단순한 판처럼 보이지만, 내부에는 칩 사이를 연결하는 매우 미세한 배선이 들어 있습니다.
일반 패키지 기판보다 훨씬 촘촘한 회로를 만들 수 있기 때문에 GPU와 HBM의 수많은 신호 통로를 짧은 거리에서 연결할 수 있습니다.
TSMC의 CoWoS-S는 실리콘 인터포저 위에 GPU와 칩렛, 여러 개의 HBM 스택을 배치하며, 높은 배선 밀도를 이용해 고성능 컴퓨팅과 AI 가속기에 필요한 연결을 구현합니다.
도로로 비유하면 다음과 같습니다.
- GPU는 거대한 공장입니다.
- HBM은 공장에 재료를 공급하는 창고입니다.
- 인터포저는 공장과 창고를 연결하는 수천 차선의 전용도로입니다.
- 패키지 기판은 완성된 산업단지를 외부 도시와 연결하는 도로입니다.
인터포저가 없다면 GPU와 HBM 사이의 수많은 통로를 짧고 정밀하게 연결하기 어렵습니다.
왜 ‘2.5D 패키징’이라고 부를까요?
HBM 자체는 여러 개의 DRAM을 위로 쌓은 3D 구조입니다.
그렇다면 GPU와 HBM을 함께 연결하는 CoWoS는 왜 3D가 아니라 2.5D 패키징이라고 부를까요?
CoWoS에서는 GPU와 HBM이 서로의 위에 직접 쌓이지 않습니다.
두 부품이 인터포저 위에 나란히 배치됩니다.
평면에 배치된 것처럼 보이지만, 인터포저 내부에는 TSV와 미세 배선이 들어가 일반적인 2D 기판보다 훨씬 높은 연결 밀도를 제공합니다.
완전한 수직 적층은 아니지만 단순한 평면 연결보다 발전된 구조이기 때문에 2.5D라는 표현을 사용합니다.
정리하면 다음과 같습니다.
- 2D: 칩을 일반 기판 위에 나란히 연결
- 2.5D: 칩을 고밀도 인터포저 위에 나란히 연결
- 3D: 칩을 위아래로 직접 쌓아 연결
HBM 내부는 3D 적층 구조이고, GPU와 HBM 전체는 CoWoS를 이용한 2.5D 구조로 결합되는 셈입니다.
CoWoS는 어떻게 만들어질까요?
CoWoS 공정은 단순히 완성된 GPU와 HBM을 접착제로 붙이는 작업이 아닙니다.
여러 단계의 정밀 공정이 필요합니다.
1. 인터포저를 만듭니다
실리콘이나 재배선층을 이용해 GPU와 HBM을 연결할 넓은 인터포저를 만듭니다.
인터포저 내부에는 수많은 미세 배선과 전력 공급 구조가 형성됩니다.
2. GPU와 HBM을 배치합니다
GPU와 여러 개의 HBM 스택을 인터포저 위의 정해진 위치에 올립니다.
각 칩 아래에는 미세한 범프가 있으며, 인터포저의 연결 지점과 정확히 맞아야 합니다.
3. 칩과 인터포저를 접합합니다
열과 압력을 이용해 GPU와 HBM을 인터포저에 연결합니다.
연결 위치가 조금만 어긋나도 일부 신호 통로가 정상적으로 작동하지 않을 수 있습니다.
4. 패키지 기판에 올립니다
GPU와 HBM이 결합된 인터포저를 더 크고 튼튼한 패키지 기판 위에 장착합니다.
패키지 기판은 전력과 신호를 서버 보드로 전달하는 역할을 합니다.
5. 냉각 구조와 함께 검사합니다
AI 가속기는 매우 많은 열을 발생시키므로 방열판과 냉각 장치를 함께 고려해야 합니다.
완성된 제품은 연결 상태, 전력, 신호 속도와 온도 조건을 바꿔가며 검사합니다.
칩이 아니라 패키지 전체가 하나의 제품입니다
예전에는 반도체 성능을 이야기할 때 CPU나 GPU 칩 자체의 미세 공정이 가장 많이 주목받았습니다.
하지만 AI 반도체에서는 하나의 거대한 칩만으로 필요한 성능을 모두 구현하기 어려워졌습니다.
GPU와 HBM, 여러 개의 칩렛을 하나의 패키지 안에서 연결해 전체 시스템처럼 작동시키는 방식이 중요해지고 있습니다.
TSMC는 CoWoS를 서로 같거나 다른 종류의 여러 칩을 하나의 패키지로 통합하는 기술로 설명하며, AI와 고성능 컴퓨팅 제품에 적합한 패키징 방식으로 제공하고 있습니다.
따라서 AI 가속기의 성능은 다음 요소가 함께 결정합니다.
- GPU의 계산 성능
- HBM의 용량과 대역폭
- 인터포저의 배선 밀도
- 패키지의 전력 공급 능력
- 칩에서 발생한 열을 제거하는 냉각 구조
GPU 하나만 빠르다고 완성된 AI 가속기가 빠른 것은 아닙니다.
HBM이 충분해도 CoWoS가 부족하면 AI 칩을 만들기 어렵습니다
고성능 GPU와 HBM을 각각 충분히 생산했다고 가정해 보겠습니다.
두 부품을 연결할 CoWoS 패키징 공정이 준비되지 않았다면 완성된 AI 가속기로 출하할 수 없습니다.
자동차 공장에 엔진과 배터리가 충분히 있어도 이를 차체에 조립하는 생산라인이 부족하면 완성차를 만들 수 없는 것과 같습니다.
TSMC는 AI 수요가 증가하면서 CoWoS가 빠르게 성장하고 있다고 밝히고 있으며, 더 많은 로직 칩과 HBM을 한 패키지에 넣기 위해 인터포저 크기와 첨단 패키징 생산 능력을 확대하고 있습니다.
이 때문에 AI 반도체 공급을 이해하려면 GPU와 HBM 생산량뿐 아니라 첨단 패키징 능력도 함께 살펴봐야 합니다.
CoWoS 패키지가 점점 커지는 이유
AI 모델이 커질수록 GPU는 더 많은 계산 능력과 메모리를 필요로 합니다.
초기 CoWoS 제품은 비교적 작은 인터포저에 하나의 GPU와 적은 수의 HBM을 연결했습니다.
하지만 최신 AI 가속기는 여러 개의 로직 다이와 더 많은 HBM을 하나의 패키지에 넣습니다.
TSMC는 CoWoS-S 인터포저 크기를 최대 약 3.3배 레티클 크기까지 확대했으며, 더 큰 패키지에는 CoWoS-L과 CoWoS-R을 권장하고 있습니다. 또한 2026년 양산을 목표로 더 큰 5.5배 레티클 크기의 패키지 인증도 진행했습니다.
패키지가 커지면 더 많은 칩과 HBM을 넣을 수 있지만 다음과 같은 문제도 커집니다.
- 넓은 인터포저를 결함 없이 만드는 문제
- 패키지가 휘는 현상
- 전력을 고르게 공급하는 문제
- 칩 사이의 신호를 안정적으로 전달하는 문제
- 넓은 면적에서 발생하는 열을 제거하는 문제
AI 반도체의 성능 경쟁은 패키지의 크기와 복잡성 경쟁으로도 이어지고 있습니다.
CoWoS-S·L·R은 무엇이 다를까요?
CoWoS는 하나의 고정된 구조만을 의미하지 않습니다.
TSMC는 인터포저의 소재와 연결 방식에 따라 CoWoS-S, CoWoS-L, CoWoS-R을 제공하고 있습니다.
CoWoS-S
큰 실리콘 인터포저를 사용합니다.
미세하고 촘촘한 배선을 만들 수 있어 매우 높은 성능이 필요한 AI 가속기에 적합합니다.
CoWoS-R
실리콘 대신 여러 층의 재배선 구조인 RDL 인터포저를 활용합니다.
구조가 비교적 유연해 대형 패키지를 구현하는 데 유리합니다.
CoWoS-L
RDL 기반 인터포저와 필요한 부분에만 작은 실리콘 연결 부품을 넣는 방식입니다.
큰 패키지와 높은 연결 밀도를 함께 구현하는 방향입니다.
TSMC는 CoWoS-L을 더 큰 HPC와 AI 제품에 적합한 기술로 설명하며, 여러 로직 칩과 HBM을 연결할 수 있도록 패키지 크기를 계속 확대하고 있습니다.
세 방식의 자세한 차이는 다음 글에서 별도로 살펴보겠습니다.
CoWoS의 핵심은 연결 거리를 줄이는 것입니다
AI 반도체에서 많은 전력과 시간이 사용되는 부분 중 하나는 데이터를 이동시키는 과정입니다.
GPU와 HBM이 멀리 떨어져 있다면 데이터가 긴 배선을 지나야 합니다.
CoWoS는 두 부품을 하나의 패키지 안에 가까이 배치하고, 고밀도 인터포저로 연결합니다.
이를 통해 다음과 같은 장점을 얻을 수 있습니다.
- GPU와 HBM 사이의 데이터 이동 거리를 줄입니다.
- 수많은 신호 통로를 동시에 연결합니다.
- 높은 메모리 대역폭을 실제 GPU 성능으로 활용할 수 있습니다.
- 여러 개의 칩렛을 하나의 시스템처럼 작동시킬 수 있습니다.
- 같은 보드 공간에 더 높은 연산 성능을 배치할 수 있습니다.
HBM이 넓은 데이터 통로를 가진 메모리라면 CoWoS는 그 넓은 통로가 GPU까지 끊기지 않고 이어지도록 만드는 기술입니다.
CoWoS가 AI 반도체의 마지막 연결 고리인 이유
AI 가속기를 만들기 위해서는 여러 기업의 기술이 함께 필요합니다.
- GPU 기업은 AI 연산 칩을 설계합니다.
- 파운드리는 GPU와 인터포저를 생산합니다.
- 메모리 기업은 HBM을 만듭니다.
- 패키징 공정은 GPU와 HBM을 하나로 연결합니다.
- 서버 기업은 완성된 가속기를 보드와 냉각 시스템에 장착합니다.
이 과정 중 하나라도 준비되지 않으면 최종 AI 서버를 만들 수 없습니다.
CoWoS는 GPU와 HBM이라는 핵심 부품을 실제로 사용할 수 있는 하나의 AI 가속기로 완성하는 기술입니다.
그래서 첨단 패키징은 더 이상 반도체 제조의 마지막 보조 공정이 아닙니다.
AI 반도체의 성능과 공급량을 결정하는 핵심 기술로 바뀌고 있습니다.
AIpedia 핵심 요약
- CoWoS는 Chip-on-Wafer-on-Substrate의 약자입니다.
- GPU와 여러 개의 HBM을 인터포저 위에 연결한 뒤 패키지 기판에 올리는 기술입니다.
- 인터포저는 GPU와 HBM 사이의 수많은 신호를 연결하는 초정밀 중간 기판입니다.
- GPU와 HBM을 나란히 배치하지만 고밀도 인터포저로 연결하기 때문에 2.5D 패키징이라고 부릅니다.
- CoWoS는 GPU와 HBM 사이의 거리를 줄여 높은 대역폭과 전력 효율을 구현합니다.
- HBM과 GPU가 충분해도 CoWoS 패키징 능력이 부족하면 완성된 AI 가속기를 공급하기 어렵습니다.
- CoWoS에는 실리콘과 RDL 구조에 따라 CoWoS-S, CoWoS-L, CoWoS-R 방식이 있습니다.
- AI 반도체 경쟁은 칩 성능뿐 아니라 인터포저와 첨단 패키징 기술의 경쟁이기도 합니다.