피터의 개발이야기

[AI] LLM 학습 노트 공개 - Transformer부터 RAG까지, 그리고 운영 가능한 AI 시스템을 향해 ㅁ 들어가며Embedding 글을 정리하면서 자연스럽게 다음 질문에 도달했다. “그래서, 우리는 무엇을 벡터로 저장하는가?” Embedding은 의미를 벡터로 만든다. 하지만 Chunking은 그 이전 단계다. Chunking은 단순히 텍스트를 자르는 기술이 아니라, LLM이 이해할 수 있는 의미 단위를 설계하는 작업이다.RAG 품질을 이야기할 때 Retriever나 모델 성능을 먼저 떠올리기 쉽지만, 실제로는 Chunking 단계에서 이미 상당 부분이 결정된다. ㅁ Chunking이 RAG 품질을 좌우하는 이유VectorDB는 문서를 검색하지 않는다.Chunk 단위의 의미 벡터를 ..