모아의 기웃기웃 · HBM 이해하기

용량은 담는 양,
대역폭은 옮기는 양

HBM은 여러 D램 칩을 쌓고, 넓은 데이터 통로로 GPU에 데이터를 공급하는 메모리예요. 왜 넓은 통로가 필요할까요? 통로 수와 통로당 전송률을 바꿔 보세요. 같은 대역폭에서도 저장할 수 있는 용량은 다를 수 있습니다.

데이터 통로 실험실

제품 예시로 시작한 뒤, 값을 자유롭게 조절해 보세요.

HBM3E 스택 1개 · 1,024bit · 9.2Gb/s/핀

32bit2,048bit
0.8Gb/s40.0Gb/s
제품 예시의 실제 용량과 별개인 학습용 설정
이론적 최대 대역폭1,177.6GB/s약 1.1776TB/s
가상 데이터 16GB의 이상적 전송시간0.0136초데이터량 ÷ 대역폭 · 실제 응답시간 예측 아님

1,024bit × 9.2Gb/s ÷ 8 = 1,177.6GB/s

메모리에서 계산부로

데이터폭이 넓을수록 선 묶음이 늘어납니다. 점은 일정한 속도로 이동하며 핀당 전송률이 높을수록 점을 보내는 간격이 짧아집니다.
선 1개 = 데이터 통로 32bit 묶음가상 저장 용량 32GB

점의 이동 속도는 일정해요. 핀당 전송률을 높이면 점을 보내는 간격이 짧아집니다. 점은 가상 데이터 묶음이며 실제 비트·심벌·신호 전파 속도를 재현하지 않습니다.

이렇게 비교해 보세요

데이터폭만 두 배 → 대역폭도 두 배.

핀당 전송률만 두 배 → 대역폭도 두 배.

가상 용량 32GB는 저장할 수 있는 양이에요. 용량만 바꿔도 대역폭은 그대로예요.

자유 조합은 실제 판매 제품이나 동작 가능한 사양을 뜻하지 않습니다. 계산은 십진 단위를 쓰고, 지연·명령·리프레시·읽기/쓰기 전환 등을 반영하지 않았어요. 공개된 Gb/s·MT/s에 DDR나 PAM 배수를 다시 곱하지 않습니다.

AI 모델의 가중치만 약 16GB라면?

80억 개 가중치를 각각 2바이트(BF16·FP16)로 저장하면 가중치만 약 16GB예요. 실행에는 KV 캐시·중간 결과·실행용 공간도 더 필요합니다. 필요한 양은 모델·문맥 길이·동시 처리량 등에 따라 달라져요.

NVIDIA의 가중치 메모리 계산 설명

DDR·GDDR·HBM, 연결하는 방법이 달라요

DDR

PC·서버의 CPU 메모리. 모듈과 여러 메모리 채널로 용량·대역폭을 구성해요.

64bit × 6.4 ÷ 8 = 51.2GB/s
DDR5-6400, 모듈 1개 데이터폭 예시

GDDR

GPU 주변 기판에 놓는 그래픽 메모리. 게임과 AI·고성능 컴퓨팅에도 사용해요.

32bit × 32 ÷ 8 = 128GB/s
32Gb/s, x32 장치 1개 예시

HBM

D램을 쌓고 넓은 인터페이스를 확보해 GPU 가까이에서 데이터를 공급해요.

1,024bit × 9.2 ÷ 8 = 1,177.6GB/s
HBM3E 스택 1개 예시

모듈·GDDR 장치·HBM 스택은 서로 다른 비교 단위예요. 위 비율은 GPU 전체 성능 비율이 아닙니다. DDR5의 일반적인 64bit 데이터폭은 32bit 서브채널 두 개로 구성됩니다.

56초 자막 영상

직접 제작한 모식도 애니메이션 · 실측·실물 영상 아님 · 음성 없이 자막으로 설명

왜 만드는지도 연결해 보세요

수치와 설명의 출처