피터의 개발이야기

ㅁ 들어가며ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술에 대해서 정리하였다. ㅇ 2017년부터 대규모 언어 모델(Large Language Models, LLM)의 크기가 급격히 증가하는 이유에 대해서 정리해보았다.ㅁ 언어 모델의 진화ㅇ 2017년 Transformer 모델이 등장한 이후, 언어 모델의 크기는 폭발적으로 증가했다.  - Transformer (2017): 465M 파라미터  - GPT-3 (2020): 175B 파라미터 (Transformer의 376배)  - Switch-C (2021): 1.6T 파라미터  - Wu Dao 2.0 (2021): 1.75T 파라미터 (GPT-3의 10배)  - GPT-4(2023): 1.8T 파라미터 (GPT-3..

ㅁ Productivity Paradox란?  생산성 패러독스(Productivity Paradox)는 정보 기술에 대한 막대한 투자에도 불구하고 생산성 증가가 기대만큼 이루어지지 않는 현상을 말한다. 이는 1980년대 후반에 처음 주목받았으며, 경제학자 로버트 솔로우의 이름을 따서 솔로우 패러독스라고도 불린다. 이 현상은. 기술 혁신이 빠르게 진행되고 있음에도 불구하고 경제 성장에 미치는 영향이 제한적인 이유를 설명한다.ㅁ 생산성 패러독스의 원인ㅇ 측정 문제  기술의 경제적 영향을 정확히 측정하기 어려운 경우가 많다. 특히 서비스 산업에서의 기술 혁신은 전통적인 생산성 측정 방식에 잘 반영되지 않을 수 있다.ㅇ 기대와 현실의 차이  기술이 가져올 이익에 대한 과도한 기대가 실제 경제 성장으로 이어지지 ..

ㅁ 들어가며ㅇ 이 글은 멀티모달 AI에 대해 설명하며, 인간처럼 다양한 감각을 통합하여 정보를 처리하는 AI의 중요성과 가능성을 다루고 있다. ㅇ 멀티모달 AI는 텍스트, 이미지, 소리 등 여러 형태의 데이터를 동시에 처리하여 인간과 유사한 방식으로 세상을 이해하고 학습한다. ㅁ 멀티모달 AI의 필요성  기존 AI는 주로 텍스트 기반의 자연어 처리에 집중했으나, 실제 세계의 다양한 정보를 이해하기 위해서는 멀티모달 AI가 필요하다. 이는 AI가 단순한 데이터 처리에서 벗어나 인간처럼 사고할 수 있도록 돕는다. 예를 들어 기존 AI는 '남자가 말을 타고 있다'라는 문장에서 '탄다(ride)'라는 개념을 이해하지 못하고, 말의 크기가 얼마만 한 것인지, 어떤 형태로 타는 것인지 알 수가 없죠. 즉, 데이터 ..

ㅁ 들어가며ㅇ Mistral AI and NVIDIA Unveil Mistral NeMo 12B, a Cutting-Edge Enterprise AI Model이 기사의 내용을 보고 요약 정리하였다. ㅁ Mistral NeMo 12B란?  Mistral AI와 NVIDIA는 최신 언어 모델인 Mistral NeMo 12B를 발표했다. 이 모델은 엔터프라이즈 애플리케이션을 위한 챗봇, 다국어 작업, 코딩, 요약 등의 작업에 쉽게 맞춤화 및 배포할 수 있다. Mistral AI의 데이터 훈련 전문성과 NVIDIA의 최적화된 하드웨어 및 소프트웨어 생태계를 결합하여 높은 성능을 제공한다. ㅁ 플랫폼  Mistral NeMo는 NVIDIA DGX Cloud AI 플랫폼에서 훈련되었으며, NVIDIA Tensor..