피터의 개발이야기

ㅁ 들어가며ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술에 대해서 정리하였다. ㅇ 2017년부터 대규모 언어 모델(Large Language Models, LLM)의 크기가 급격히 증가하는 이유에 대해서 정리해보았다.ㅁ 언어 모델의 진화ㅇ 2017년 Transformer 모델이 등장한 이후, 언어 모델의 크기는 폭발적으로 증가했다.  - Transformer (2017): 465M 파라미터  - GPT-3 (2020): 175B 파라미터 (Transformer의 376배)  - Switch-C (2021): 1.6T 파라미터  - Wu Dao 2.0 (2021): 1.75T 파라미터 (GPT-3의 10배)  - GPT-4(2023): 1.8T 파라미터 (GPT-3..