[AI] GTP4 Local LLM 사용해보기(GPT4ALL, Llama 3 8B, LocalDocs)

ㅁ 들어가며

ㅇ 나만의 생성형AI를 구축하는 방법을 공부 중이다.

ㅇ 기존 OpenChatGPT는 비용이 발생하고, 개인이나 기업의 정보보호로 인해 업무에 도입하기 어려운 점이 있다.

ㅇ 이를 극복하기 위해 로컬에 AI를 구축하여 학습시켜 나만의 생성형AI를 만들고 업무적으로 사용히 가능하다.

ㅇ gpt4all을 설치하여 LLM인 Llama 3 8B을 이용하여 로컬 데이터를 학습하는 과정을 정리하였다.

 

ㅁ gpt4all 설치

ㅇ GPT4ALL 홈페이지로 이동하여 설치파일을 다운한다.

 

ㅇ 설치 파일을 실행하여 설치 완료.

 

ㅁ GPT4All 실행

ㅇ 최초의 GPT화면이다.

 

ㅇ Chats으로 이동하면 새로운 모델을 설치하는 버튼이 있다.

ㅇ 한글을 위해 Llama 3 8B Korean Bllossom을 설치하였다.

 

 

ㅁ Local Docs

ㅇ 로컬 데이터로 소프트웨어정책연구소의 2024년 9월호를 사용하였다.

 

ㅇ LocalDocs를 사용하면 기기에 저장된 파일의 정보를 비공개로 LLM 채팅에 가져올 수 있다.

ㅇ 자료의 이름과 폴더를 설정하였다.

ㅇ 폴더를 인식하여 학습을 시작하였다.

ㅇ 채팅에서도 localDocs의 update 상태를 확인할 수 있다.

ㅇ 인공지능 동향에 대해서 질문하였다.

ㅇ 주어진 텍스트를 통해 답변하는 것을 테스트 하였다.

ㅇ 참조 Doc-LocalDocs

 

ㅁ 학습된 데이터 맵

ㅇ 홈페이지에 개시된 내용 중에 학습된 데이터 지도를 맵형태로 보여주고 있었다.

ㅇ 마치 인간의 뇌의 인공신경망의 형상을 그대로 나타낸 듯하여 인상적이었다.

 

ㅁ 함께 보면 좋은 사이트

ㅇ GPT4All - homepage

ㅇ 🔥성능이 놀라워요🔥 무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기(#LangServe) + #RAG 까지!!