[AI] 인공 지능에 대한 공부 정리

ㅁ 들어가며

ㅇ 인공지능에 대한 공부는 2017년부터 시작하였다. 소프트웨어공학을 공부하면서 인공지능에 대한 이해라는 소논문을 작성하였다.

ㅇ 새롭게 합류한 팀이 AI플랫폼을 운영하고 있어서 본격적으로 AI에 대해 공부를 시작하게 되었다.

ㅇ 단편적으로 AI에 대해서 공부한 이력을 이곳에 정리하려고 한다. 

 

ㅁ GPT의 뜻

Generative 생성하는 

Pre-trained 미리 학습된
Transformer 인공 신경망

 

ㅁ 아티클

  AlphaGo가 기존 바둑프로그램의 한계를 뛰어 넘은 핵심을 더 깊게 이해하기 위해 인공지능에 대한 이해가 필요하다. 이 리포트는 인공지능의 역사와 알고리즘에 대해 살펴봄으로써 인공지능에 대해 이해하고, 시대적 흐름 속에서 새로운 기술적 도약을 위해 ‘PIM’이라는 컴퓨팅 기술에 대해 정리하고자 하였다. 2017년도에 인공지능에 대해 공부하고 리포트로 정리한 글로 LLM의 게임 체인저인 트랜스포머를 알기 전에 작성한 글이다.

ㅇ [AI] 인공지능에 대한 이해(2017에 정리한 리포트)

 

ㅁ 관련 동영상

Amazon Bedrock으로 쉽게 자동 고객 응대 서비스 구축하기 동영상을 보고 프롬프트 엔지니어링의 필요성에 대해서 정리한 글이다.

ㅇ [AI] Amazon Bedrock  고객응대 서비스 구축 동영상 후기, 프롬프트 엔지니어링

 

ㅁ AI관련 용어 정리

생산성 패러독스(Productivity Paradox)는 정보 기술에 대한 막대한 투자에도 불구하고 생산성 증가가 기대만큼 이루어지지 않는 현상을 말한다.

ㅇ Productivity Paradox란?

 

사전적의미로 영어로 무너지다, 붕괴하다, 실패하다라는 뜻.
딥러닝 모델이 학습 과정에서 겪는 문제로, 모델의 출력이 제한된 범위나 특정 값으로 수렴하는 현상을 말한다.
  GAN(Generative Adversarial Network)에서의 Mode Collapse은 Generator와 Discriminator의 학습 속도 불균형으로. 인해 발생한다. Discriminator가 너무 빠르게 학습되면, Generator는 Discriminator를 속이기 위해 제한된 범위의 '가짜' 이미지만 생성하게 된다.

ㅇ [AI] Deep Learning에서의 Collapse (Collapsing) 현상

 

트랜스포머란, LM(Large Language Model)의 핵심 요소로
  기존의 순차적 모델과 달리 병렬처리가 가능하고,
  트랜스포머의 자기 주의(self-attention) 메커니즘은 텍스트의 장거리 의존성을 효과적으로 포착하며,
  트랜스포머 모델의 높은 확장성으로 더 많고 큰 모델을 쉽게 확장할 수 있어,
GPT와 같은 거대 언어 모델의 개발을 가능하게 한다.

ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술

 

OpenAI의 연구에 따르면, 언어 모델의 성능은 1. 모델 파라미터 수 2. 데이터셋 크기 3. 학습에 필요한 컴퓨팅 능력에 의해 주로 결정된다. 더 큰 모델과 더 많은 데이터를 사용하면 성능이 지속적으로 향상되며, 대규모 모델이 학습 효율성도 높아진다. 엄청난 컴퓨팅 자원과 대규모 데이터셋이 발전하면서 언어모델도 확장되었다.
- Transformer (2017): 465M 파라미터 
- GPT-3 (2020): 175B 파라미터 (Transformer의 376배) 
- GPT-4(2023): 1.8T 파라미터 (GPT-3의  10.3배)
- 인간의 뇌(100Tb)

ㅇ [AI] 최근 대규모 언어 모델(LLM)의 급격한 성장 이유

멀티모달 AI는 인간처럼 다양한 감각을 통합하여 정보를 처리하는 AI로, 텍스트, 이미지, 소리 등 여러 형태의 데이터를 동시에 처리하여 인간과 유사하게 세상을 이해하고 학습한다. 하지만 데이터 처리나 통계, 텍스트를 검색해서 보여주는 것은 가능하지만, 인간과 유사한 방식의 사고는 할 수가 없다. 예를 들어 기존 AI는 '남자가 말을 타고 있다'라는 문장에서 '탄다(ride)'라는 개념을 이해하지 못하고, 말의 크기가 얼마만 한 것인지, 어떤 형태로 타는 것인지 알 수가 없다.

ㅇ [AI] 멀티모달(Multi Modal) AI란?

 

Fine-tuning은 사전 훈련된 모델의 가중치가 새로운 데이터에 대해 훈련되는 전이학습에 대한 접근 방식이다. 기계∙시스템 등에서는 "미세 조정"이라는 의미로 사용된다. ChatGPT는 사전에 큰 양의 데이터로 사전 학습(pre-training)된 모델이다. Fine-tuning은 이미 학습된 모델을 새로운 데이터나 새로운 작업(task)에 맞게 추가 학습하는 것을 말한다.

ㅇ [AI] ChatGPT를 Fine-tuning 한다는 것은?

 

ㅁ AI 모델

Mistral NeMo 12B 모델은  엔터프라이즈 애플리케이션을 위한 챗봇, 다국어 작업, 코딩, 요약 등의 작업에 쉽게 맞춤화 및 배포할 수 있다. Mistral AI의 데이터 훈련 전문성과 NVIDIA의 최적화된 하드웨어 및 소프트웨어 생태계를 결합하여 높은 성능을 제공한다.

ㅇ [AI] 최신 언어 모델인 Mistral NeMo 12B

 

ㅁ AI 프로그래밍

ㅇ [AI] 구글 오픈 AI, 젬마(Gemma) Python으로 사용해 보기