피터의 개발이야기

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며ㅇ LiteRT-LM — 온디바이스 LLM을 실제로 “돌리게” 만드는 런타임 ㅁ TL;DRLiteRT-LM = 온디바이스 LLM 추론 런타임핵심 차별점: .litertlm (모델 + 토크나이저 + 템플릿 번들)서버 런타임(vLLM/Ollama)은 모바일에 그대로 못 옮긴다실제 기준:Galaxy S23 UltraGemma 4 E2B약 40초/응답모델 크기 약 2.4GB결론: 모델만큼 런타임 선택이 초기에 결정된다 ㅁ 왜 LiteRT-LM까지 오게 됐는가Gemma 4 E2B를 폰에서 돌리는 데 48시간을 썼다.시간의 대부분은 모델이 아니라 런타임에서 막혔다.llama.cpp → Android NDK / NPU 활용 제한서버 구조(vLLM/Ollama)..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며AI를 활용하는 방식은 단순한 “질문”에서 시작했지만,점점 더 구조화되고, 시스템화되고, 운영 자동화 단계로 진화하고 있다.이 문서는 AI를 다루는 방식을4단계 진화 구조로 정리한다.ㅁ 전체 구조Prompt → Context → Harness → AIOps= 요청 → 이해 → 검증 → 운영ㅁ Prompt Engineering“AI에게 잘 말하는 단계”핵심: 질문, 지시문, 포맷 설계목표: 원하는 출력 유도특징:문장 구조에 의존결과 변동성 큼👉 한 줄 정의→ “좋은 답을 얻기 위해 잘 묻는 기술”ㅁ Context Engineering“AI가 이해할 수밖에 없는 상태를 만드는 단계”핵심: 정보, 역할, 히스토리, 환경 구성목표: 일관된 이해 기반 제..

[AI] Peterica의 AI공부와 비젼 정리ㅁ 들어가며요즘 AI를 활용한 개발 이야기를 들으면 늘 비슷한 고민으로 돌아온다.“어떤 모델을 써야 더 잘 나오지?”하지만 한 영상을 보고 나서 이 질문 자체가 틀렸을 수 있다는 생각이 들었다.문제는 모델이 아니라, 결과를 만드는 방식에 있었다. ㅁ 왜 AI는 항상 들쭉날쭉할까Claude를 쓰다가 Codex를 쓰고, 다시 Gemini를 쓰면같은 요구사항인데도 결과는 매번 달라진다.어떤 날은 구조가 깔끔하고어떤 날은 naming이 엉망이고어떤 날은 아예 설계가 틀어진다그래서 우리는 보통 이렇게 생각한다.“더 좋은 모델을 써야겠다” 하지만 Harness Engineering은 정반대의 이야기를 한다.“AI는 믿을 수 없다. 대신 시스템으로 통제해야 한다.” ㅁ ..

[AI] Peterica의 AI공부와 비젼 정리 ㅁ 들어가며나는 백엔드 개발자로 시작했고, DevOps와 SRE 성격의 업무를 거치며 서비스 운영을 경험해 왔다.그러다 최근 LLM 기반 시스템을 직접 설계하면서 관점이 바뀌었다.AI는 더 이상 “모델 호출”이 아니라운영 대상 시스템이라는 생각이 들기 시작했다.그래서 개인적으로 LLM 학습 노트를 만들었다.단순 이론 정리가 아니라, 실제 서비스를 만들고 운영한다는 관점에서 정리한 기록이다. ㅁ 왜 LLM 학습 노트를 만들었나처음에는 RAG 구현이 목적이었다.하지만 파고들수록 느꼈다.Retriever 품질은 Embedding과 Chunking에서 결정되고RAG 성능은 VectorDB 튜닝과 Reranking에서 갈리며최종 응답 품질은 결국 Transforme..

[AI] LLM 학습 노트 공개 - Transformer부터 RAG까지, 그리고 운영 가능한 AI 시스템을 향해 ㅁ 들어가며지난 글에서 Attention이 어떻게 중요한 정보를 골라내는지 살펴봤다. 이번에는 그 Attention이 어떤 구조 안에서 역할을 나눠 동작하는지, 즉 Transformer의 Encoder–Decoder 구조를 정리해 보려 한다. LLM을 실제로 다뤄보면, 결국 다시 이 구조로 돌아오게 된다. RAG를 구성하고, Retriever 품질을 튜닝하고, Prompt를 다듬다 보면 어느 순간 “이 정보는 어디서 이해되고, 어디서 생성되는가?”라는 질문을 하게 된다. 그 답이 바로 Encoder–Decoder다. ㅁ Attention 다음은 ‘구조’Attention은 메커니즘이다. ..

ㅁ 들어가며 LLM 공부·실습용으로 한 번 북마크해 두면 두고두고 참고하기 좋은 큐레이션 허브(LLM Engineer Toolkit) 정도로 정리할 수 있을 것 같아. ㅁ 한눈에 보는 LLM 기술 지도LLM 학습·파인튜닝, 앱 개발, RAG, 추론, 서빙, 평가, 모니터링까지 LLM 라이프사이클 전체를 아우르는 120개+ 라이브러리를 카테고리별로 정리해 둔 레포지토리다.어떤 단계에 어떤 도구를 써야 하는지 구조적으로 파악하면서, 필요한 순간에 바로 라이브러리 후보를 찾을 수 있다는 점이 큰 장점이다. ㅁ 카테고리 구조가 잘 짜여 있음LLM Training, Application Development, RAG, Inference, Serving, Data Extraction, Data Generation..

ㅁ 들어가며ㅇ 생성형AI는 새로운 트랜드가 되었다. PC를 통해 인터넷 세상이 열렸고, 스마트 폰으로 막대한 정보화 사회의 확장이 이루어졌다. 생성형AI는 이러한 정보를 검색하는 시대가 아니라 대화를 이해하고 이를 해석하여 원하는 정보를 찾아주는 사회가 도래되었다. 새로운 전환점에서 시대적 변화의 흐름을 이해하고자 AI의 성장과정을 정리해 보았다. ㅁ UX의 변화: AI 전환시대ㅇ 제한적 AI에서 생성형 AI로 ㄴ알파고 - 오직 바둑이라는 사용성에 제한이 있었다.ㅇ 생성형 AI는 정보 탐색, 번역 등 다양한 기능을 할 수 있다.ㅇ 기존 플랫폼에도 AI의 기능이 확장되고 있다. ㄴ 엑셀도 명령프롬프트로 작성이 가능 ㄴ 포토샵도 AI로 그림을 작성할 수 있다. ㅇ 모든 소프트웨어와 플랫폼에 AI의 기능..

ㅁ 들어가며ㅇ 나만의 생성형AI를 구축하는 방법을 공부 중이다.ㅇ 기존 OpenChatGPT는 비용이 발생하고, 개인이나 기업의 정보보호로 인해 업무에 도입하기 어려운 점이 있다.ㅇ 이를 극복하기 위해 로컬에 AI를 구축하여 학습시켜 나만의 생성형AI를 만들고 업무적으로 사용히 가능하다.ㅇ gpt4all을 설치하여 LLM인 Llama 3 8B을 이용하여 로컬 데이터를 학습하는 과정을 정리하였다. ㅁ gpt4all 설치ㅇ GPT4ALL 홈페이지로 이동하여 설치파일을 다운한다. ㅇ 설치 파일을 실행하여 설치 완료. ㅁ GPT4All 실행ㅇ 최초의 GPT화면이다. ㅇ Chats으로 이동하면 새로운 모델을 설치하는 버튼이 있다.ㅇ 한글을 위해 Llama 3 8B Korean Bllossom을 설치하였다. ㅁ ..

ㅁ 들어가며ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술에 대해서 정리하였다. ㅇ 2017년부터 대규모 언어 모델(Large Language Models, LLM)의 크기가 급격히 증가하는 이유에 대해서 정리해보았다.ㅁ 언어 모델의 진화ㅇ 2017년 Transformer 모델이 등장한 이후, 언어 모델의 크기는 폭발적으로 증가했다. - Transformer (2017): 465M 파라미터 - GPT-3 (2020): 175B 파라미터 (Transformer의 376배) - Switch-C (2021): 1.6T 파라미터 - Wu Dao 2.0 (2021): 1.75T 파라미터 (GPT-3의 10배) - GPT-4(2023): 1.8T 파라미터 (GPT-3..