피터의 개발이야기

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며ㅇ QAT(Quantization-Aware Training)는 모델을 학습할 때부터 양자화 효과를 미리 반영하여INT8, INT4 같은 저비트 연산을 해도 정확도가 크게 떨어지지 않도록 만드는 기술이다.즉,“학습 중에 양자화를 시뮬레이션하여, 모델이 스스로 양자화 환경에 적응하도록 만드는 방식” 이라고 이해하면 정확하다.ㅁ 왜 양자화에서 정확도가 떨어지는가?일반적인 Post-Training Quantization(PTQ)은 모델 학습이 끝난 후 FP32 → INT8/INT4 로 변환한다. 하지만 문제는:INT8/INT4는 표현할 수 있는 값의 범위가 작다가중치/활성값이 정밀도를 잃고 깎인다(clipping, rounding)LLM에서는 atten..

[AI] Peterica의 AI공부와 비젼 정리 ㅁ 들어가며ㅇ LLM 시대, 왜 다시 ‘온톨로지’인가? 온톨로지⋅지식그래프로 구조화하는 AI 전환 전략 세미나에서 들은 내용을 정리하였다. 온톨로지는 대규모 언어 모델(LLM)과 결합되며 다시 주목받고 있는데, 이는 단순한 기술 유행이 아니라 AI를 더 정확하고, 설명 가능하며, 신뢰할 수 있는 방향으로 발전시키기 위한 필수 과정으로 받아들여지고 있다. 최근 세미나 「온톨로지·지식그래프로 구조화하는 AI 전환 전략」에서는 이 변화가 왜 중요한지, 그리고 실제 AI 시스템에서 어떻게 활용될 수 있는지에 대해 구체적인 방향을 제시했다. 이 글에서는 온톨로지가 무엇이고 왜 필요한지, 그리고 LLM 시대에 어떤 가치를 만들어 내는지를 정리해 본다. ㅁ 온톨..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며AI 모델의 스케일링 한계, Test-Time Revolution, 그리고 강화학습의 재해석최근 생성형 AI가 빠르게 발전하면서 LLM의 활용이 실무 전반에 깊숙이 들어오고 있다.하지만 이 과정에서 우리가 당연하게 믿고 있던 몇 가지 전제가 무너지고 있다.모델 성능은 Compute(연산량)에 비례한다모델을 키우면 성능도 계속 상승한다LLM 능력 향상의 핵심은 Training-time 에 있다강화학습(RL)은 LLM을 획기적으로 똑똑하게 만든다이번 세미나는 이 믿음들을 다시 들여다보고,AI 모델을 실무에서 실제로 “잘” 활용하기 위해 이해해야 할 핵심 변화들을 짚어준다. ㅁ Train-Time Scaling의 시대는 끝나가고 있다LLM 발전의 첫 번..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며폰 노이만 한계를 넘어서는 NPU·PIM·PNM 기반 차세대 AI 컴퓨팅의 방향성에 대해서 고민하게 되었다.최근 2~3년 동안 LLM 성능은 폭발적으로 성장했다. 하지만 그 이면에서는 하나의 질문이 커지고 있다.“지금의 GPU 중심 컴퓨팅 구조로는 더 이상 LLM을 확장할 수 없지 않은가?”LLM 추론의 병목은 더 이상 FLOPs(Floating Point Operations per second, 초당 수행 가능한 부동소수점 연산 수)가 아니라 메모리 이동 비용이다. 이 글에서는 미국 최신 연구를 기반으로 AI 특화 컴퓨팅(PIM·PNM·CIM)이 LLM의 미래를 어떻게 바꿀지를 살펴본다. ㅁ 폰 노이만 구조의 한계ㅇ LLM은 “계산”보다 “데이터..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며대형 LLM을 사용하다 보면 “양자화(Quantization)” 라는 용어를 자주 마주치게 된다.또 GPTQ, AWQ, GGUF, BNB(4bit/8bit 로딩) 등 다양한 방식이 존재하며,FP32·FP16·INT8·INT4 같은 비트 수도 함께 등장한다.이 글에서는 각 양자화 방식의 차이와비트 수와 메모리 관계를 가장 실질적인 관점에서 정리한다. ㅁ Quantization(양자화)란? Quantization(양자화)라는 용어의 본질적인 의미 자체가 “연속적인 값을 이산화(discretize)한다”는 것이다.그래서 컴퓨터 비전, 신호 처리, 음성 코덱, 이미지 압축, 뉴럴넷 등 분야를 막론하고 연속적(continuous) 값을 유한한 정수 집합(d..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며 오늘 회사 동료와 LLM 양자화에 대해 이야기하던 중, 나도 모르게 벡터 양자화(Vector Quantization) 개념을 섞어서 설명하고 있었다. 두 기술은 모두 "연속적인 값을 이산화(discretize)한다"는 공통점이 있어서 자연스럽게 비슷한 것으로 느껴지지만, 실제로는 목적도, 적용 대상도, 결과도 완전히 다르다. 정확한 이해를 위해 두 개념을 비교 분석하며 정리한다. ㅁ LLM 양자화란? LLM 양자화는 모델의 가중치 값을 FP32 → INT8/INT4 등 더 낮은 비트 정밀도로 변환하여 메모리 사용량을 줄이고, 추론 속도를 빠르게 만드는 기술이다.즉, 수치 정밀도 축소 = 계산 최적화 기술 예시:32bit float → 4bit ..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며ㅇ 논문 “Attention Is All You Need”(Vaswani et al., 2017)의 핵심 구조와 혁신 포인트를 이해하기 위해 정리하였다.ㅇ 2017년 Google Brain 연구진이 발표한 논문 〈Attention Is All You Need〉는 자연어 처리(NLP)의 패러다임을 완전히 바꾼 Transformer 모델을 소개했다.ㅇ 이 논문은 RNN·CNN 없이 오직 Attention 메커니즘만으로 시퀀스를 처리하는 새로운 구조를 제안한다.ㅇ 결과적으로 번역 품질을 높이면서 학습 속도를 획기적으로 개선했다.ㅁ TL;DR기존의 순환·합성곱 구조 제거Self-Attention만으로 문맥 관계를 학습완전 병렬 연산이 가능해 학습 ..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며ㅇ 텍스트데이터 분석 13주차 강의를 듣고 개인적으로 Transformer → BERT → GPT 계열로 이어지는 핵심 개념을 정리해 보았다.ㅇ 본 강의는 Transformer 구조의 핵심을 이해하고, 이를 기반으로 발전한 BERT(언어 이해) 와 GPT(언어 생성) 모델의 차이와 학습 방식, 그리고 이후 GPT-3·3.5·4로 이어지는 발전 과정을 설명하는 데 초점이 맞춰져 있다. ㅁTL;DRTransformer는 Self-Attention으로 문맥을 전역적으로 바라볼 수 있게 만든 구조BERT는 Encoder 기반 모델 → 언어 이해 능력 최고GPT는 Decoder 기반 모델 → 언어 생성 능력 최고GPT-3의 Few-shot 능력은 기존 ..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며ㅇ LLM, RAG, Agent, AI Infra, Compliance를 동시에 다루는 단계에 도달했다.ㅇ 지금 필요한 것은 "새로운 기술"이 아니라 "이미 해온 것들의 구조화"다.ㅇ 개인 Knowledge Base는 공부 노트가 아니라 재사용 가능한 엔지니어링 자산이 되어야 한다.ㅇ 나는 지금 나만의 AI Knowledge Base = 나 자신을 위한 파인튜닝 데이터셋을 만들고 있다. ㅁ API를 쓰는 단계는 이미 지났다 많은 사람들이 여전히 ChatGPT, Claude, Gemini 같은 LLM을 도구(API) 로만 사용한다.하지만 어느 순간부터 나는 이런 질문을 더 많이 하게 됐다.이 응답은 왜 이렇게 나왔을까?Retrieval이 실패한 이유..

ㅁ 들어가며 삼성전자의 Processing-near-Memory(PNM)는 “메모리 바로 옆에서 연산을 처리해 대규모 AI/데이터 워크로드의 병목을 줄이려는 메모리 중심 컴퓨팅 기술”이다. 기존 CPU·GPU 중심 구조에서 발생하는 메모리 병목을 완화하고, 시스템 성능과 전력 효율을 동시에 끌어올리는 것이 핵심 목표다.ㅁ PIM vs PNM 기본 개념Processing-in-Memory(PIM)는 DRAM 다이 내부(뱅크/서브어레이 영역)에 연산 유닛을 심어 메모리 안에서 곧장 계산을 수행한다.Processing-near-Memory(PNM)는 메모리 칩 바로 옆(버퍼 칩, 컨트롤러, CXL 모듈 등)에 전용 프로세싱 유닛을 두고, 고대역폭·저지연 인터페이스로 데이터를 주고받으며 연산을 수행한다.이 ..