피터의 개발이야기

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며대형 LLM을 사용하다 보면 “양자화(Quantization)” 라는 용어를 자주 마주치게 된다.또 GPTQ, AWQ, GGUF, BNB(4bit/8bit 로딩) 등 다양한 방식이 존재하며,FP32·FP16·INT8·INT4 같은 비트 수도 함께 등장한다.이 글에서는 각 양자화 방식의 차이와비트 수와 메모리 관계를 가장 실질적인 관점에서 정리한다. ㅁ Quantization(양자화)란? Quantization(양자화)라는 용어의 본질적인 의미 자체가 “연속적인 값을 이산화(discretize)한다”는 것이다.그래서 컴퓨터 비전, 신호 처리, 음성 코덱, 이미지 압축, 뉴럴넷 등 분야를 막론하고 연속적(continuous) 값을 유한한 정수 집합(d..