피터의 개발이야기

TL;DR로컬 LLM 환경에서 가장 먼저 부딪히는 벽은 연산 성능보다 메모리다.작은 모델은 “문장을 생성”하지만,큰 모델은 “컨텍스트를 유지하며 추론”한다.결국 로컬 AI 머신의 핵심은 CPU 속도가 아니라,얼마나 큰 모델과 Context를 메모리에 안정적으로 올릴 수 있는가에 가깝다. ㅁ 들어가며오늘 한 크루가 맥미니를 구매해서 로컬 LLM 기반 서비스를 직접 만들어 보고 싶다고 이야기했다.그러면서 자연스럽게 이런 질문이 나왔다.“맥미니를 산다면 CPU가 중요할까, GPU가 중요할까?”처음에는 보통 코어 수나 GPU 성능을 먼저 보게 된다.그런데 실제로 로컬 LLM을 구성해보면 병목은 생각보다 다른 곳에서 먼저 나타난다. 좀 더 자세한 글) [AI] GPU vs PIM vs NPU - 내 시스템의..