피터의 개발이야기

[AI] LLM 학습 노트 공개 - Transformer부터 RAG까지, 그리고 운영 가능한 AI 시스템을 향해 ㅁ 들어가며지난 글에서 Attention이 어떻게 중요한 정보를 골라내는지 살펴봤다. 이번에는 그 Attention이 어떤 구조 안에서 역할을 나눠 동작하는지, 즉 Transformer의 Encoder–Decoder 구조를 정리해 보려 한다. LLM을 실제로 다뤄보면, 결국 다시 이 구조로 돌아오게 된다. RAG를 구성하고, Retriever 품질을 튜닝하고, Prompt를 다듬다 보면 어느 순간 “이 정보는 어디서 이해되고, 어디서 생성되는가?”라는 질문을 하게 된다. 그 답이 바로 Encoder–Decoder다. ㅁ Attention 다음은 ‘구조’Attention은 메커니즘이다. ..