피터의 개발이야기

[AI] LLM 학습 노트 공개 - Transformer부터 RAG까지, 그리고 운영 가능한 AI 시스템을 향해 ㅁ 들어가며RAG를 처음 붙였을 때 가장 쉽게 드는 생각은 이거다.“문서는 잘 검색되는데, 왜 답변은 여전히 애매할까?”Retriever도 튜닝했고, Ranker도 붙였고, 모델도 바꿔봤다.그런데도 답변 품질은 기대만큼 올라가지 않는다.이 지점에서 많은 사람이 LLM 성능을 의심한다. 하지만 실제로 문제의 원인은 대부분 Reader 단계, 정확히 말하면 프롬프트와 컨텍스트 구성에 있다. 이번 글에서는 RAG의 마지막 단계인 Reader를 단순한 “모델 호출”이 아니라 품질을 결정하는 최종 시스템 레이어로 바라보며, 프롬프트 설계와 Hallucination 문제를 어떻게 다뤄야 하는지 정리..