일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- 기록으로 실력을 쌓자
- 정보처리기사실기 기출문제
- 정보처리기사 실기 기출문제
- CKA
- kotlin spring
- PETERICA
- aws
- CloudWatch
- AWS EKS
- minikube
- MySQL
- 코틀린 코루틴의 정석
- APM
- 오블완
- Kubernetes
- IntelliJ
- Spring
- 공부
- kotlin coroutine
- 티스토리챌린지
- kotlin querydsl
- kotlin
- Pinpoint
- 정보처리기사 실기
- mysql 튜닝
- CKA 기출문제
- Java
- AI
- Elasticsearch
- Linux
- Today
- Total
피터의 개발이야기
[AI] GTP4 Local LLM 사용해보기(GPT4ALL, Llama 3 8B, LocalDocs) 본문
ㅁ 들어가며
ㅇ 나만의 생성형AI를 구축하는 방법을 공부 중이다.
ㅇ 기존 OpenChatGPT는 비용이 발생하고, 개인이나 기업의 정보보호로 인해 업무에 도입하기 어려운 점이 있다.
ㅇ 이를 극복하기 위해 로컬에 AI를 구축하여 학습시켜 나만의 생성형AI를 만들고 업무적으로 사용히 가능하다.
ㅇ gpt4all을 설치하여 LLM인 Llama 3 8B을 이용하여 로컬 데이터를 학습하는 과정을 정리하였다.
ㅁ gpt4all 설치
ㅇ GPT4ALL 홈페이지로 이동하여 설치파일을 다운한다.
ㅇ 설치 파일을 실행하여 설치 완료.
ㅁ GPT4All 실행
ㅇ 최초의 GPT화면이다.
ㅇ Chats으로 이동하면 새로운 모델을 설치하는 버튼이 있다.
ㅇ 한글을 위해 Llama 3 8B Korean Bllossom을 설치하였다.
ㅁ Local Docs
ㅇ 로컬 데이터로 소프트웨어정책연구소의 2024년 9월호를 사용하였다.
ㅇ LocalDocs를 사용하면 기기에 저장된 파일의 정보를 비공개로 LLM 채팅에 가져올 수 있다.
ㅇ 자료의 이름과 폴더를 설정하였다.
ㅇ 폴더를 인식하여 학습을 시작하였다.
ㅇ 채팅에서도 localDocs의 update 상태를 확인할 수 있다.
ㅇ 인공지능 동향에 대해서 질문하였다.
ㅇ 주어진 텍스트를 통해 답변하는 것을 테스트 하였다.
ㅇ 참조 Doc-LocalDocs
ㅁ 학습된 데이터 맵
ㅇ 홈페이지에 개시된 내용 중에 학습된 데이터 지도를 맵형태로 보여주고 있었다.
ㅇ 마치 인간의 뇌의 인공신경망의 형상을 그대로 나타낸 듯하여 인상적이었다.
ㅁ 함께 보면 좋은 사이트
ㅇ 🔥성능이 놀라워요🔥 무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기(#LangServe) + #RAG 까지!!
'AI' 카테고리의 다른 글
[AI] 생성형 AI의 미래 산업, 검색의 시대에 대화의 시대, Business AI Agent란 (2) | 2024.09.25 |
---|---|
[AI] 새로운 트랜드로서의 생성형AI 성장과정 정리, 클라우드에서 Ondevice AI (3) | 2024.09.23 |
[AI] 뉴로모픽(Neuromorphic)이란? (0) | 2024.09.09 |
[AI] PIM(Processing In Memory)란? (0) | 2024.09.08 |
[AI] Amazon Bedrock 고객응대 서비스 구축 동영상 후기, 프롬프트 엔지니어링 (5) | 2024.09.07 |