피터의 개발이야기

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며ㅇ QAT(Quantization-Aware Training)는 모델을 학습할 때부터 양자화 효과를 미리 반영하여INT8, INT4 같은 저비트 연산을 해도 정확도가 크게 떨어지지 않도록 만드는 기술이다.즉,“학습 중에 양자화를 시뮬레이션하여, 모델이 스스로 양자화 환경에 적응하도록 만드는 방식” 이라고 이해하면 정확하다.ㅁ 왜 양자화에서 정확도가 떨어지는가?일반적인 Post-Training Quantization(PTQ)은 모델 학습이 끝난 후 FP32 → INT8/INT4 로 변환한다. 하지만 문제는:INT8/INT4는 표현할 수 있는 값의 범위가 작다가중치/활성값이 정밀도를 잃고 깎인다(clipping, rounding)LLM에서는 atten..