AI
[AI] Llama 3 로컬 설치하기
기록하는 백앤드개발자
2024. 8. 29. 15:53
반응형
ㅁ 들어가며
ㅇ Llama 3.1 모듈을 로컬에 설치하고 LM Studio를 통해 로컬에서 사용하는 방법을 정리하였다.
ㅁ Download Ollama
ㅇ Ollama를 다운받기 위해 이곳으로 이동한다.
ㅇ 다운로드 후 압축을 해제하면 앱이 생성되는데, 이 앱을 실행하였다.
ㅇ Coomand line 툴을 설치한다.
ㅁ llama3.1 run
$ ollama run llama3.1ㅇ 위 명령어를 터미널에서 실행하여 라마 모델을 실행한다.
ㅇ 설치를 하면 manifest를 다운받고 CLI로 명령할 수 있게 된다.
>>> 안녕
안녕하세요! 어떻게 지내세요?
>>> 파이썬으로 암호화 하는 코드 짜줘.
암호화를 하기 위한 다양한 알고리즘과 라이브러리들이 있습니다. 파이썬에서 일반적으로 사용되는
암호화 라이브러리는 `cryptography`와 `hashlib`입니다.
아래는 간단한 예시를 제공하는 코드입니다.
### symmetric-key encryption (_symmetric_key_encryption.py)
```python
from cryptography.hazmat.primitives import serialization
from cryptography.hazmat.primitives.asymmetric import rsa
from cryptography.hazmat.backends import default_backend
def generate_keys():
key = rsa.generate_private_key(
public_exponent=65537,
key_size=2048,
backend=default_backend()
)
~~~~~~~~~생략~~~~~~~~~ㅇ 안녕이라고 인사를 간단히 나누고 파이썬으로 암호화 하는 코드를 생성하도록 명령을 주었는데, 잘 작동하였다.
ㅁ 모듈 정보 및 다운로드 명령어
| Model | Parameters | Size | Download |
| Llama 3.1 | 8B | 4.7GB | ollama run llama3.1 |
| Llama 3.1 | 70B | 40GB | ollama run llama3.1:70b |
| Llama 3.1 | 405B | 231GB | ollama run llama3.1:405b |
| Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
| Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
| Gemma 2 | 2B | 1.6GB | ollama run gemma2:2b |
| Gemma 2 | 9B | 5.5GB | ollama run gemma2 |
| Gemma 2 | 27B | 16GB | ollama run gemma2:27b |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Moondream 2 | 1.4B | 829MB | ollama run moondream |
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| LLaVA | 7B | 4.5GB | ollama run llava |
| Solar | 10.7B | 6.1GB | ollama run solar |
ㅇ 다운로드 가능한 모듈의 목록이다.
ㅇ https://ollama.com/library
ㅁ Lama 3 모델 정보 확인
>>> /show info
Model
arch llama
parameters 8.0B
quantization Q4_0
context length 131072
embedding length 4096
Parameters
stop "<|start_header_id|>"
stop "<|end_header_id|>"
stop "<|eot_id|>"
License
LLAMA 3.1 COMMUNITY LICENSE AGREEMENT
Llama 3.1 Version Release Date: July 23, 2024
ㅁ OLLAMA 모델 삭제
# 명령어 확인
$ ollama --help
Large language model runner
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
# 가동 모듈 확인
$ ollama ps
NAME ID SIZE PROCESSOR UNTIL
# 모듈 삭제
$ ollama rm llama3.1
deleted 'llama3.1'
# 모듈 리스트 확인
$ ollama list
NAME ID SIZE MODIFIEDㅇ LM Studio를 사용하기 위해서는 별도의 모듈을 설치해야하지 때문에 기존 모듈은 삭제하여 용량을 확보할 수 있다.
ㅁ LM Studio 설치
ㅇ LM Studio 설치 페이지 이동
ㅇ LM Studio를 설치한다.
# 최소 하드웨어/소프트웨어 요구 사항 #
- macOS 13.6 이상이 설치된 Apple Silicon Mac(M1/M2/M3)
- AVX2를 지원하는 프로세서가 장착된 Windows/Linux PC (일반적으로 최신 PC)
- RAM 16GB 이상, PC의 경우 6GB 이상의 VRAM을 권장
- 지원되는 NVIDIA/AMD GPU
ㅇ 초기 실행 화면이다.
ㅇ LM Studio에서 Lama 3을 사용하려면 별도로 lama모델을 설치해야한다.
ㅇ CLI cmd로 설치한 모델과는 별도이다.
ㅇ 모듈 설치가 완료되면, 오른쪽 로드 모듈 버튼을 클릭한다.
ㅁ 질문 테스트
명령 프롬프트
코틀린으로 null 값인 경우 기본 값으로 세팅하는 코드 작성해줘.
ㅁ 함께 보면 좋은 사이트
반응형