[AI] 최신 언어 모델인 Mistral NeMo 12B

ㅁ 들어가며

ㅇ Mistral AI and NVIDIA Unveil Mistral NeMo 12B, a Cutting-Edge Enterprise AI Model이 기사의 내용을 보고 요약 정리하였다.

 

ㅁ Mistral NeMo 12B란?

  Mistral AI와 NVIDIA는 최신 언어 모델인 Mistral NeMo 12B를 발표했다. 이 모델은 엔터프라이즈 애플리케이션을 위한 챗봇, 다국어 작업, 코딩, 요약 등의 작업에 쉽게 맞춤화 및 배포할 수 있다. Mistral AI의 데이터 훈련 전문성과 NVIDIA의 최적화된 하드웨어 및 소프트웨어 생태계를 결합하여 높은 성능을 제공한다.

 

ㅁ 플랫폼

  Mistral NeMo는 NVIDIA DGX Cloud AI 플랫폼에서 훈련되었으며, NVIDIA TensorRT-LLM과 NeMo 개발 플랫폼을 사용하여 최적화되었다. 이 모델은 128K 컨텍스트 길이를 가지고 있어 복잡한 정보를 더 잘 처리하며, FP8 데이터 형식을 사용하여 메모리 크기를 줄이고 배포 속도를 높인다.

 

ㅁ 사양

  Mistral NeMo는 NVIDIA NIM 추론 마이크로서비스로 제공되며, 다양한 애플리케이션에 쉽게 배포할 수 있는 유연성을 제공한다. 또한, 엔터프라이즈급 소프트웨어와 보안, 지원을 포함하여 신뢰할 수 있는 성능을 제공한다. 이 모델은 NVIDIA L40S, GeForce RTX 4090, RTX 4500 GPU의 메모리에 적합하도록 설계되었으며, 높은 효율성과 낮은 컴퓨팅 비용을 자랑한다.

 

ㅁ Megatron-LM

Mistral NeMo는 NVIDIA의 전체 스택을 활용하여 최적의 성능을 위해 설계되었으며, Megatron-LM을 사용하여 훈련되었다. 이 모델은 클라우드, 데이터 센터, RTX 워크스테이션 등 어디서나 실행할 수 있어 다양한 플랫폼에서 AI 애플리케이션을 혁신할 준비가 되어 있다.