피터의 개발이야기

[AI] LLM 학습 노트 공개 - Transformer부터 RAG까지, 그리고 운영 가능한 AI 시스템을 향해 ㅁ 들어가며Transformer를 공부하면서 가장 인상 깊었던 점은 LLM이 언어를 “이해”한다기보다, 의미를 벡터로 변환해 계산한다는 사실이었다.Attention과 Encoder–Decoder 구조를 따라가다 보니 하나의 질문으로 이어졌다. 그렇다면 이 벡터는 모델 안에서만 존재하는 걸까?Embedding은 바로 그 답이다.Embedding은 Transformer 내부에서 만들어진 의미를 모델 밖으로 꺼내는 과정이다. 즉, 추론용 의미 표현을 저장과 검색이 가능한 형태로 바꾸는 단계다. ㅁ Embedding은 기억을 만드는 기술이다Encoder는 문장을 벡터 공간에서 의미 구조로 압축한다..