모아의 기웃기웃 · HBM 이해하기
용량은 담는 양,
대역폭은 옮기는 양
HBM은 여러 D램 칩을 쌓고, 넓은 데이터 통로로 GPU에 데이터를 공급하는 메모리예요. 왜 넓은 통로가 필요할까요? 통로 수와 통로당 전송률을 바꿔 보세요. 같은 대역폭에서도 저장할 수 있는 용량은 다를 수 있습니다.
데이터 통로 실험실
제품 예시로 시작한 뒤, 값을 자유롭게 조절해 보세요.
HBM3E 스택 1개 · 1,024bit · 9.2Gb/s/핀
1,024bit × 9.2Gb/s ÷ 8 = 1,177.6GB/s
메모리에서 계산부로
점의 이동 속도는 일정해요. 핀당 전송률을 높이면 점을 보내는 간격이 짧아집니다. 점은 가상 데이터 묶음이며 실제 비트·심벌·신호 전파 속도를 재현하지 않습니다.
이렇게 비교해 보세요
데이터폭만 두 배 → 대역폭도 두 배.
핀당 전송률만 두 배 → 대역폭도 두 배.
가상 용량 32GB는 저장할 수 있는 양이에요. 용량만 바꿔도 대역폭은 그대로예요.
자유 조합은 실제 판매 제품이나 동작 가능한 사양을 뜻하지 않습니다. 계산은 십진 단위를 쓰고, 지연·명령·리프레시·읽기/쓰기 전환 등을 반영하지 않았어요. 공개된 Gb/s·MT/s에 DDR나 PAM 배수를 다시 곱하지 않습니다.
AI 모델의 가중치만 약 16GB라면?
80억 개 가중치를 각각 2바이트(BF16·FP16)로 저장하면 가중치만 약 16GB예요. 실행에는 KV 캐시·중간 결과·실행용 공간도 더 필요합니다. 필요한 양은 모델·문맥 길이·동시 처리량 등에 따라 달라져요.
DDR·GDDR·HBM, 연결하는 방법이 달라요
DDR
PC·서버의 CPU 메모리. 모듈과 여러 메모리 채널로 용량·대역폭을 구성해요.
64bit × 6.4 ÷ 8 = 51.2GB/s
DDR5-6400, 모듈 1개 데이터폭 예시
GDDR
GPU 주변 기판에 놓는 그래픽 메모리. 게임과 AI·고성능 컴퓨팅에도 사용해요.
32bit × 32 ÷ 8 = 128GB/s
32Gb/s, x32 장치 1개 예시
HBM
D램을 쌓고 넓은 인터페이스를 확보해 GPU 가까이에서 데이터를 공급해요.
1,024bit × 9.2 ÷ 8 = 1,177.6GB/s
HBM3E 스택 1개 예시
모듈·GDDR 장치·HBM 스택은 서로 다른 비교 단위예요. 위 비율은 GPU 전체 성능 비율이 아닙니다. DDR5의 일반적인 64bit 데이터폭은 32bit 서브채널 두 개로 구성됩니다.
그림으로 이어 보기






56초 자막 영상
직접 제작한 모식도 애니메이션 · 실측·실물 영상 아님 · 음성 없이 자막으로 설명