피터의 개발이야기

ㅁ 들어가며ㅇ 이번 글에서는 트랜스 포머 기술에 대해서 정리해 보았다.ㅇ 트랜스포머 기술은 LLM(Large Language Model)의 핵심 요소로, 여러 가지 중요한 장점을 제공합니다. ㅁ 트랜스포머: LLM의 게임 체인저  트랜스포머 아키텍처는 LLM 발전의 핵심 동력이 되었다. ㅇ 병렬 처리 능력  트랜스포머의 가장 큰 장점 중 하나는 뛰어난 병렬 처리 능력이다. 기존의 순차적 모델과 달리, 트랜스포머는 입력 시퀀스를 동시에 처리할 수 있어 학습 및 추론 속도가 크게 향상되었다. 기존의 순차적 모델에서 언어는 단어의 연관관계를 학습하기 위해서는 순차적으로 처리해야 했고, 이는 앞의 단어를 분석한 후 그 다음 글자를 분석해야하는 한계점이 있었다. ㅇ 장거리 의존성 포착  트랜스포머의 자기 주의(..