피터의 개발이야기

[AI] LLM 학습 노트 공개 - Transformer부터 RAG까지, 그리고 운영 가능한 AI 시스템을 향해 ㅁ 들어가며AI는 더 이상 “모델 호출”이 아니라컨텍스트를 설계하고 운영하는 시스템이라는 생각이 들기 시작했다.RAG를 구현하고, Retriever 품질을 튜닝하고, Embedding 모델을 비교하다 보면어느 순간 다시 Transformer 구조로 돌아오게 된다.그리고 그 중심에는 항상 Attention이 있다. ㅁ 왜 Attention부터 다시 보게 되었나처음에는 RAG 구현이 목적이었다.하지만 파고들수록 느꼈다.Retriever 품질은 Embedding과 Chunking에서 결정되고RAG 성능은 VectorDB 튜닝과 Reranking에서 갈리며최종 응답 품질은 결국 Transformer ..