[AI] PIM(Processing In Memory)란?

ㅁ 들어가며

ㅇ [AI] 인공지능에 대한 이해(2017에 정리한 리포트)에서 인공지능의 역사와 알고리즘에 대해 살펴봄으로써 인공지능에 대해 이해하고, 시대적 흐름 속에서 새로운 기술적 도약을 위해 ‘PIM’이라는 컴퓨팅 기술에 대해 정리하였다.

ㅇ 이번 글에서는 PIM의 등장배경과 그 특징에 대해서 정리하였다.

 

ㅁ PIM의 등장 배경

source: AI and Memory Wall —  https://medium.com/riselab/ai-and-memory-wall-2cb4265cb0b8

  AI 시대가 도래하면서 데이터 처리 속도와 메모리 접근 속도 간의 불균형, 일명 'Memory Wall' 문제가 더욱 심각해졌다. 지난 20년간 컴퓨팅 성능은 9만 배 증가한 반면, DRAM 대역폭은 겨우 30배 증가하는데 그쳤다. 자주 사용하는 데이터를 cache에 저장하여 Memory Wall 문제를 극복하려 하였지만 시스템 성능을 효율적으로 사용하기에는 역부족이었다. 이러한 격차는 AI 응용 프로그램의 성능을 크게 제한하게 된다.

 

ㅁ PIM(Processing In Memory)이란?

  PIM은 메모리 내부 또는 근처에서 데이터를 처리하는 기술이다. 이는 기존 폰노이만 아키텍처의 한계를 극복하고, 데이터 이동에 따른 에너지 소비를 줄이는 장점이 있다.최근 애플의 실리콘칩도 메모리와 프로세스가 하나의 칩에 자리잡으면서 데이터 이동 버스구간을 최소화하여 시스템 성능을 높이면서도 발열과 소비전력을 낮출 수 있었다. 

 

ㅁ AI와 PIM의 시너지

ㅇ AI 응용의 Memory-bound 특징

source:  https://docs.nersc.gov/tools/performance/roofline/

  AI 알고리즘은 대부분 메모리 대역폭에 의해 성능이 제한되는 'Memory-bound' 특성을 가진다. 특히 LSTM, MLP 같은 알고리즘은 roofline 모델에서 메모리 대역폭 제한 영역에 위치한다.

 

ㅇ 에너지 효율성

  AI 모델의 규모가 커지면서 데이터 이동에 따른 에너지 소비도 급증하고 있다. PIM은 이러한 문제를 해결할 수 있는 효과적인 방안이다.

 

ㅁ PIM의 장단점

장점	단점
메모리 대역폭 제약 해소 에너지 효율성 향상	높은 제조 비용 가속기 대비 낮은 컴퓨팅 성능 복잡한 프로그래밍 모델 필요

 

ㅁ 삼성의 HBM-PIM 전략은?

  삼성은 PIM의 단점을 보완하기 위해 AMD의 MI-100 GPU와 HBM-PIM을 결합한 MI-100 PIM을 개발했다. 이는 PIM의 장점을 살리면서 GPU의 고성능 컴퓨팅 능력을 활용하는 전략이다.

  MI-100 PIM은 기존 MI-100 대비 학습 성능이 2.55배, 에너지 효율은 2.67배 향상되었다. 특히 MoE(Mixture of Experts) 기반 T5 모델에서 뛰어난 성능을 보였다.

 

ㅁ 마무리

  PIM 기술은 AI 가속기의 새로운 패러다임으로 주목받고 있다. 메모리 대역폭 문제를 해결하고 에너지 효율성을 높이는 PIM의 장점은 앞으로의 AI 발전에 중요한 역할을 할 것으로 예상된다. 다만, 제조 비용과 성능 최적화 등의 과제를 해결해 나가는 것이 관건이 될 것이다.

 

ㅁ 함께 보면 좋은 사이트

ㅇ PIM은 AI 가속기의 미래가 될 것인가? (삼성의 MI100 PIM)

ㅇ 인공지능 가속화를 위한 새로운 솔루션