지난 글에서는 ChatGPT와 자율주행을 가능하게 만든 핵심 기술인 AI 반도체에 대해 살펴봤습니다.
그런데 여기서 한 가지 의문이 생깁니다.
일반 컴퓨터에도 이미 CPU라는 뛰어난 반도체가 들어 있는데, AI 기업들은 왜 비싼 GPU를 수천 개씩 구매하는 것일까요?
CPU도 계산을 하고 GPU도 계산을 합니다. 겉으로 보면 비슷한 역할처럼 느껴지지만, 실제로는 계산을 처리하는 방식에서 큰 차이가 있습니다.
이 차이를 이해하면 엔비디아가 AI 시대의 중심에 선 이유와 GPU 옆에 HBM이라는 고성능 메모리가 필요한 이유까지 자연스럽게 이해할 수 있습니다.
CPU는 복잡한 일을 빠르게 처리하는 지휘자입니다
CPU는 Central Processing Unit의 약자로, 우리말로는 중앙처리장치라고 부릅니다.
컴퓨터를 켜고 인터넷 창을 열거나 문서를 작성하고 프로그램을 실행할 때 중심 역할을 하는 부품입니다.
CPU의 가장 큰 장점은 서로 다른 종류의 복잡한 일을 빠르게 처리할 수 있다는 것입니다.
예를 들어 컴퓨터를 사용하는 동안 CPU는 다음과 같은 일을 계속 처리합니다.
- 키보드와 마우스의 입력 확인
- 프로그램 실행 순서 관리
- 운영체제와 저장장치 제어
- 인터넷 통신 처리
- 여러 프로그램의 작업 배분
쉽게 비유하면 CPU는 경험이 풍부한 지휘자나 관리자와 같습니다.
한 명이 여러 상황을 살피면서 무엇을 먼저 처리할지 결정하고, 문제가 생기면 빠르게 대응합니다.
그래서 CPU는 컴퓨터의 전반적인 작업을 관리하는 데 매우 뛰어납니다.
하지만 AI가 요구하는 계산은 일반적인 컴퓨터 작업과 성격이 조금 다릅니다.
AI는 복잡한 계산 하나보다 단순한 계산 수없이 많이 필요합니다
ChatGPT가 문장을 만들거나 이미지 인식 AI가 사진 속 물체를 구분할 때는 비슷한 형태의 수학 계산이 반복됩니다.
AI 모델은 입력된 정보를 작은 숫자 단위로 바꾼 뒤, 수많은 숫자를 곱하고 더하면서 결과를 만들어 냅니다.
여기서 중요한 것은 계산 하나하나가 매우 복잡하다는 점이 아닙니다.
비슷한 계산을 엄청나게 많이, 동시에 처리해야 한다는 점이 중요합니다.
예를 들어 학생 1만 명의 시험지를 검사해야 한다고 생각해 보겠습니다.
매우 뛰어난 선생님 한 명이 모든 시험지를 차례대로 검사하면 정확하게 처리할 수 있지만 시간이 오래 걸립니다.
반대로 일정한 채점 기준을 익힌 사람 수천 명이 시험지를 나눠서 동시에 검사한다면 훨씬 빠르게 끝낼 수 있습니다.
CPU가 뛰어난 선생님 몇 명에 가깝다면, GPU는 수많은 작업자가 동시에 일하는 대형 작업장에 가깝습니다.
GPU는 많은 계산을 동시에 처리하도록 만들어졌습니다
GPU는 Graphics Processing Unit의 약자로, 원래는 컴퓨터 그래픽을 빠르게 처리하기 위해 발전했습니다.
게임 화면을 만들려면 모니터에 표시되는 수많은 픽셀의 색상과 위치를 계속 계산해야 합니다.
각 픽셀을 순서대로 하나씩 처리하면 화면이 끊길 수밖에 없습니다. 따라서 GPU는 비슷한 계산을 여러 개의 연산 장치가 동시에 처리하도록 설계됐습니다.
이러한 방식을 병렬 처리라고 합니다.
그래픽과 AI는 서로 다른 분야처럼 보이지만 계산 방식에는 공통점이 있습니다.
게임에서는 수많은 픽셀을 동시에 계산하고, AI에서는 수많은 숫자와 데이터를 동시에 계산합니다.
그래서 그래픽을 위해 발전한 GPU가 AI 학습에서도 뛰어난 성능을 발휘하게 된 것입니다.
CPU와 GPU의 차이를 간단히 비교하면
| 구분 | CPU | GPU |
|---|---|---|
| 주요 역할 | 컴퓨터 전체 작업 관리 | 대규모 반복 계산 처리 |
| 연산 방식 | 순차 처리와 복잡한 판단에 강함 | 병렬 처리에 강함 |
| 코어 구성 | 비교적 적지만 강력한 코어 | 매우 많은 연산 코어 |
| 잘하는 작업 | 운영체제, 프로그램 제어, 복잡한 명령 | 그래픽, AI 학습, 행렬 계산 |
| AI에서의 역할 | 데이터 준비와 시스템 관리 | 모델 학습과 추론 연산 |
CPU와 GPU 중 하나가 무조건 더 뛰어난 것은 아닙니다.
두 반도체는 잘하는 일이 서로 다릅니다.
실제 AI 서버에서도 CPU가 전체 시스템을 관리하고 데이터를 준비하면, GPU가 대규모 AI 계산을 담당하는 방식으로 함께 사용됩니다.
ChatGPT는 왜 GPU가 필요할까요?
ChatGPT 같은 생성형 AI는 수많은 문장을 학습하면서 단어와 문장 사이의 관계를 숫자로 저장합니다.
사용자가 질문을 입력하면 AI 모델은 이전에 학습한 수많은 관계를 계산해 다음에 올 가능성이 높은 단어를 찾아냅니다.
이 과정은 한 번으로 끝나지 않습니다.
단어 하나를 만든 뒤 다시 다음 단어를 계산하고, 그 과정을 반복하면서 문장을 완성합니다.
사용자 입장에서는 답변이 자연스럽게 작성되는 것처럼 보이지만, 내부에서는 대규모 수학 연산이 빠른 속도로 반복되고 있습니다.
이 연산을 CPU만으로 처리할 수도 있지만, 같은 규모의 작업이라면 시간이 훨씬 오래 걸리고 더 많은 장비가 필요할 수 있습니다.
GPU는 같은 종류의 계산을 동시에 수행하는 데 유리하기 때문에 AI 모델을 학습시키거나 사용자에게 답변을 제공하는 과정에서 널리 활용됩니다.
자율주행에서도 병렬 연산이 중요합니다
자율주행 자동차는 주행하는 동안 카메라와 각종 센서가 보내는 정보를 계속 분석해야 합니다.
앞에 있는 물체가 자동차인지 사람인지 구분하고, 신호등의 색을 확인하며, 차선과 도로 표지판도 동시에 인식해야 합니다.
이러한 정보는 하나씩 천천히 분석할 수 없습니다.
자동차가 움직이는 동안 주변 상황도 계속 변하기 때문에 여러 데이터를 동시에 처리하고 빠르게 판단해야 합니다.
GPU를 비롯한 AI 가속기는 영상과 센서 데이터를 병렬로 처리하는 데 유리합니다.
다만 자동차에 사용되는 반도체는 데이터센터 GPU와 완전히 같지는 않습니다. 차량용 AI 반도체는 성능뿐 아니라 전력 소비, 발열, 크기와 안전성까지 함께 고려해 설계됩니다.
AI 반도체는 사용되는 환경에 따라 모습이 달라지지만, 대량의 계산을 빠르게 처리해야 한다는 기본 원리는 같습니다.
그렇다면 모든 작업을 GPU로 처리하면 되지 않을까요?
GPU가 AI 계산에 뛰어나다고 해서 컴퓨터의 모든 일을 GPU로 처리하는 것은 효율적이지 않습니다.
GPU는 많은 작업을 동시에 계산하는 데 강하지만, 작업 순서가 자주 바뀌거나 복잡한 조건을 판단해야 하는 일에서는 CPU가 더 적합할 수 있습니다.
예를 들어 식당을 운영한다고 생각해 보겠습니다.
CPU는 주문을 받고, 자리를 배정하고, 직원의 역할을 조정하는 관리자입니다.
GPU는 같은 메뉴를 한꺼번에 많이 조리하는 대형 주방입니다.
대형 주방만 있고 관리자가 없다면 식당은 제대로 운영되기 어렵습니다. 반대로 관리자만 있고 조리할 사람이 부족하면 주문이 밀리게 됩니다.
AI 시스템에서도 CPU와 GPU는 경쟁 관계가 아니라 서로 다른 역할을 맡는 협력 관계에 가깝습니다.
GPU가 빨라도 데이터가 늦게 도착하면 멈추게 됩니다
여기까지 보면 강력한 GPU만 많이 설치하면 AI 성능이 계속 높아질 것처럼 보입니다.
하지만 실제로는 또 다른 문제가 있습니다.
GPU는 매우 빠른 속도로 계산하기 때문에 그만큼 많은 데이터를 끊임없이 공급받아야 합니다.
아무리 뛰어난 요리사 수천 명이 준비되어 있어도 재료가 천천히 도착한다면 주방은 제대로 돌아가지 못합니다.
GPU 역시 필요한 데이터가 늦게 전달되면 계산을 기다려야 합니다.
AI 모델이 커질수록 처리해야 할 데이터의 양도 늘어나기 때문에, GPU의 연산 성능뿐 아니라 데이터를 얼마나 빠르게 전달할 수 있는지가 중요해졌습니다.
이 문제를 해결하기 위해 주목받기 시작한 기술이 바로 HBM, 고대역폭 메모리입니다.
마무리
CPU와 GPU의 가장 큰 차이는 단순히 어느 쪽이 더 빠른가에 있지 않습니다.
CPU는 다양한 명령과 복잡한 작업을 효율적으로 관리하고, GPU는 비슷한 계산을 대규모로 동시에 처리하는 데 강합니다.
AI는 수많은 숫자를 반복적으로 계산해야 하므로 GPU의 병렬 처리 구조와 잘 맞습니다.
그래서 이미지 생성 AI와 ChatGPT(Gemini), 자율주행 등 AI기술들이 발전하면서 GPU의 중요성도 함께 커졌습니다.
하지만 GPU만으로 AI가 완성되는 것은 아닙니다.
GPU가 아무리 빠르게 계산하더라도 필요한 데이터를 제때 전달하지 못하면 성능을 제대로 발휘할 수 없습니다.
그렇다면 GPU에 데이터를 빠르게 공급해 주는 HBM은 일반 메모리와 무엇이 다를까요?
그리고 왜 삼성전자, SK하이닉스, 마이크론은 HBM 시장을 차지하기 위해 치열하게 경쟁하고 있을까요?
다음 글에서는 **「HBM이란? AI 시대에 고대역폭 메모리가 중요해진 이유」**를 쉽고 자세하게 알아보겠습니다.
AIpedia 핵심 요약
- CPU는 다양한 작업과 복잡한 명령 처리에 강합니다.
- GPU는 많은 계산을 동시에 처리하는 병렬 연산에 강합니다.
- AI는 반복되는 대규모 수학 계산이 많아 GPU와 잘 맞습니다.
- 실제 AI 시스템에서는 CPU와 GPU가 서로 역할을 나눠 함께 사용됩니다.
- GPU 성능을 충분히 활용하려면 데이터를 빠르게 공급하는 HBM이 필요합니다.