피터의 개발이야기

ㅁ 들어가며HBM(High Bandwidth Memory, 고대역폭 메모리)은 AI 모델 학습에,GDDR(Graphics Double Data Rate, 그래픽스 전용 메모리)은 AI 추론에 각각 최적화된 메모리로 볼 수 있습니다. AI 학습에는 왜 HBM이 유리할까? 🧠AI, 특히 LLM(대규모 언어 모델, Large Language Model)처럼 방대한 데이터를 다루는 딥러닝 학습 과정에서는GPU가 잠시도 기다리지 않도록 극도로 높은 메모리 대역폭(Bandwidth)이 필요합니다.모델의 가중치, 활성화값(activation), 그리고 기울기(gradient) 등 엄청난 데이터가 반복적으로 오고 갑니다.HBM의 주요 장점압도적인 대역폭HBM2e를 탑재한 NVIDIA A100 GPU: 최대 2TB/s..