[AI] 새로운 트랜드로서의 생성형AI 성장과정 정리, 클라우드에서 Ondevice AI

ㅁ 들어가며

ㅇ 생성형AI는 새로운 트랜드가 되었다. PC를 통해 인터넷 세상이 열렸고, 스마트 폰으로 막대한 정보화 사회의 확장이 이루어졌다. 생성형AI는 이러한 정보를 검색하는 시대가 아니라 대화를 이해하고 이를 해석하여 원하는 정보를 찾아주는 사회가 도래되었다. 새로운 전환점에서 시대적 변화의 흐름을 이해하고자 AI의 성장과정을 정리해 보았다.

 

ㅁ UX의 변화: AI 전환시대

ㅇ 제한적 AI에서 생성형 AI로

  ㄴ알파고 - 오직 바둑이라는 사용성에 제한이 있었다.

ㅇ 생성형 AI는 정보 탐색, 번역 등 다양한 기능을 할 수 있다.

ㅇ 기존 플랫폼에도 AI의 기능이 확장되고 있다.

  ㄴ 엑셀도 명령프롬프트로 작성이 가능

  ㄴ 포토샵도 AI로 그림을 작성할 수 있다.

 ㅇ 모든 소프트웨어와 플랫폼에 AI의 기능이 확장되고 있다.

 

ㅁ 인터페이스로의 전환

ㅇ 인터페이스의 전환의 역사적 흐름을 이해는 미래의 새로운 전환적 흐름을 이해하는데 도움이 된다. 

ㅇ 빌게이츠는 자신의 글에서 혁명적인 기술 두가지를 언급하였다.

 ㄴ GUI - 마우스를 사용하는 인터페이스

 ㄴ ChatGPT - 자연어를 통해 기계가 작동되는 대화형 인터페이스

 

ㅇ CLI를 대표하는 MS-DOS

  ㄴ 자신이 원하는 것이 있다면 명령어를 옵션에 맞추어 입력해야했다.

ㅇ GUI의 필수 요소인 마우스를 기반으로 Window

  ㄴ 원하는 프로그램을 마우스로 클릭하여 실행하여 필요한 연산이나 정보를 찾을 수 있었다.

ㅇ 생성형 AI를 활용하여 소프트웨어가 쉬워지고 더욱 직관적으로 변화하였다.

  ㄴ 원하는 것을 글이나 말로 표현하면 의도를 분석하여 원하는 것을 검색하고 정리해 준다.

 

ㅇ 사용자 인터페이스의 변화는 지속적으로 직관적으로 변화하였다.

  - 손(키보드, 마우스) - 검색어 입력창

  - 터치 - 대화창

  - Multi modal - Prompt Conversation

 

ㅁ AI의 진화

ㅇ 인공지능이라고 이야기 할 때에 머신러닝, 딥러닝, 생성형AI란 말을 함께 사용한다.

 - 인공지능(Artificial Intelligence, AI): 인간의 지능을 모방하거나 대체하는 기술 또는 시스템

 - 머신러닝(Machine Learning, ML): 데이터를 분석해 규칙을 학습함

 - 딥러닝(Deep Learning,DL): 인가의 뇌를 모방한 인공신경망을 기반으로 정보처리

 - 생성형AI(Generative AI): 이용자의 요구를 이해하여 새로운 콘텐츠를 자동으로 생성

 

ㅇ 이들의 개념은 시대적 흐름에 따라 어떻게 발전했는지 이해하면 그 의미를 명확히 알 수 있다.

 

ㅇ 1950년대: AI 연구의 시작
 - 영국의 수학자 앨런 튜링(Alan Turing), 최초의 AI 개념 연구

 - 1956년, AI의 개념을 다트머스 회의(Dartmouth Conference)에서 토론하였고, 인공지능이라는 용어가 처음 등장.

 - 기계는 생각할 수 있다고 주장하며, 이를 테스트하기 위한 방법으로 ‘튜링 테스트(The Turing Test)’를 고안

 

 

ㅇ 초기 AI 연구의 한계

 -  인공신경망(Artificial Neural Network) 모델 연구 활발

 -  1943년, 신경 생리학자 워렌 맥컬럭(Warren McCulloch)과 월터 피트(Walter Pitts)가 신경세포의 상호작용을 간단한 계산 모델로 정리한 ‘신경망’ 이론을 실제 테스트에 활용 

 - 1957년, 프랑크 로젠블랏(Frank Rosenblatt)은 ‘퍼셉트론(Perceptron)’ 모델을 통해 컴퓨터가 패턴을 인식하고 학습할 수 있다는 개념을 실증적으로 선보임

 - 컴퓨팅 성능, 논리 체계, 데이터 부족 등으로 인한 침체기

 

ㅇ 1980년대: 전문가 시스템(Expert System)의 등장
 - 규칙 기반의 자동 판정 시스템
 - 실용적 분야에서 활용되었으나 복잡한 현실 세계 이해에 한계

 

ㅇ 1990년대: 머신러닝(Machine Learning, 기계학습)의 발전

 - 디지털과 인터넷의 등장으로 대량 데이터 활용 가능
 - 데이터를 분석하여 자동으로 규칙을 학습하는 능력 획득
 - 머신러닝 기반의 AI 연구 재활성화

 

 

ㅁ 딥러닝의 발전

https://news.skhynix.co.kr/post/all-around-ai-1

ㅇ 1986년 힌튼은 다중 퍼셉트론 이론에 역전파 알고리즘을 적용하면서 인공신경망 연구가 다시 활기를 찾았다. 

ㅇ 2006년, 힌튼은 ‘A fast learning algorithm for deep belief nets’라는 논문에서 다층 퍼셉트론의 성능을 높인 심층 신뢰 신경망을 제시하였고 이를 통해 비지도학습을 통한 AI의 대표 알고리즘인 딥러닝(Deep Learnning)의 기초 개념을 정립하였다. 

ㅇ 2012년, 이미지 인식 경진 대회에서 힌튼이 이끄는 팀이 우승을 차지하면서 딥러닝의 가능성을 보였다. 

ㅇ 2010년대: 딥러닝의 성장

- GPU 컴퓨터 시스템의 발전(CPU 대비 병렬처리 극대화)

- 데이터의 증가: AI 학습을 위한 대량의 데이터가 인터넷 보급되면서 발전 가공되었다. 많은 데이터를 학습한 딥러닝 알고리즘은 더욱 정교하게 구축됨.

ㅇ 2016년: AI 알파고

- 알파고는 딥러닝 알고리즘과 강화학습, 몬테카를로 트리 탑색 알고리즘을 결합하여 탄생.

- 수만 번의 자가 대국을 통해 스스로 학습하여 인간을 모방하여 수를 예측하였다.

- 인간을 꺾은 AI의 탄생, 본격적인 AI시대의 신호탄.

 

ㅇ 2017년: 자연어처리(Natural Language Processing, NLP) 모델 ‘트랜스포머(Transformer)’ 발표

트랜스포머란, LM(Large Language Model)의 핵심 요소로
  기존의 순차적 모델과 달리 병렬처리가 가능하고,
  트랜스포머의 자기 주의(self-attention) 메커니즘은 텍스트의 장거리 의존성을 효과적으로 포착하며,
  트랜스포머 모델의 높은 확장성으로 더 많고 큰 모델을 쉽게 확장할 수 있어,
GPT와 같은 거대 언어 모델의 개발을 가능하게 한다.

ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술

 

ㅁ 생성형 AI 시대

ㅇ 2018년, 최초 GPT

 - 처음 출시 후 매년 더 많은 매개변수와 학습 데이터를 사용해 빠르게 성장함.

 

ㅇ 2022년 말, LLM(거대 언어 모델)의 등장

 - GPT(Generative Pre-trained Transformer)3.5를 기반한 Chat GPT의 등장하면서 생성형AI의 시대가 시작되었다.

 - Chat(대화를 통해) G(생성하는) P(미리 학습된) T(인공 신경망)은 스스로 결과물을 생성하여 인간의 고유 영역으로 여겨지는 창작을 하여 높은 수준의 콘텐츠를 생성하였다. 

 

ㅇ 2023년 GPT-4 LMM(멀티 모달 모델)의 등장

 - GPT-3.5보다 약 500배 더 큰 데이터 셋을 활용하여 이미지와 오디오, 비디오를 입력받아 LMM(멀티 모달 모델)구현.

 - 구글 제미나이(Gemini): 이미지, 텍스트, 오디오를 동시에 인식

 - 메타의 샘(SAM): 이미지의 사물을 인식하고 분리 

  ㄴ 메타버스의 증강현실과 연결하여 실제 물리적 환경을 인식하고 필요한 정보를 증강현실로 전달한다. 

 - OpenAI Sora: 텍스트 프롬프트 기반으로 영상 제작 

- 로봇운영체제 ISAAC: 생성형AI를 통해 로봇의 운영체제를 자동화하고 단순화 한다.

  ㄴ  생성형 AI는 선언적 명령 프롬프트에 맞추어 세부적인 과정을 생성형 AI가 개발해 준다.

 

ㅇ 2024년 LAM(Large Action Model), 대답에서 행동으로

 - 사용자 행동 패턴을 학습해 웹과 앱을 직접 작동시킬 수 있다.
 - LLM이 콘텐츠 생성에 특화된 반면, LAM은 언어적 능력과 독립적 작업 수행 능력을 결합해 실제 작업을 수행하는 에이전트 역할을 한다.

 - LAM은 앱 사용 패턴, 아이콘, 메뉴 등을 학습해 음성이나 간단한 명령으로 복잡한 작업을 자동화할 수 있다.

   ㄴ 인터넷 사용 방식을 변화

   ㄴ 생산성 도구 활용을 간소화

   ㄴ 디지털 접근성을 향상

- ex) 휴먼로이드 로봇, 로봇청소기 등으로 청소 수행이 가능

- ex) 갤럭시S 24 - 명령을 통해 상품을 검색하고 결제까지 가능

 

ㅁ 파운데이션 모델

ㅇ 파운데이션 모델은 대규모 데이터로 사전 학습된 AI 모델이다. 

ㅇ 다양한 작업에 적용 가능한 범용성이 특징이며, 전이 학습과 스케일링을 통해 기능을 수행한다.

ㅇ 주로 레이블이 없는 데이터로 학습하며, 자연어 처리, 컴퓨터 비전 등 여러 분야에 활용된다.

 

OpenAI의 연구에 따르면, 언어 모델의 성능은 1. 모델 파라미터 수 2. 데이터셋 크기 3. 학습에 필요한 컴퓨팅 능력에 의해 주로 결정된다. 더 큰 모델과 더 많은 데이터를 사용하면 성능이 지속적으로 향상되며, 대규모 모델이 학습 효율성도 높아진다. 엄청난 컴퓨팅 자원과 대규모 데이터셋이 발전하면서 언어모델도 확장되었다.
- Transformer (2017): 465M 파라미터 
- GPT-3 (2020): 175B 파라미터 (Transformer의 376배) 
- GPT-4(2023): 1.8T 파라미터 (GPT-3의  10.3배)
- 인간의 뇌(100Tb)

ㅇ [AI] 최근 대규모 언어 모델(LLM)의 급격한 성장 이유

 

ㅇ LLM의 한계성

 - 운영 중 데이터를 기반으로 튜닝을 하는 과정이기에 큰 변화가 어렵다.

  ㄴ 명령어로 수행된 생성형 AI에 대한 고객 피드백을 활용하여 이 데이터 기반으로 개선의 과정을 거친다.

  ㄴ 원천적 개선을 어렵고, 부분적 개선으로 제한된다.

 

ㅇ GPT3.5의 한계, 실시간성

 ㄴ 기존의 데이터를 학습하는 과정에서 2022년까지의 정보만 습득하여 최근의 정보를 알지 못한다.

 

ㅇ RAG의 역할

 ㄴ 최근의 추가된 데이터를 보충하는 작업을 수행

 

ㅇ LLM VS SLM

 ㄴ 기업에 필요한 기능만 탑제한 LM을 구축하는 과정에서 비용적 포퍼먼스적 최적화를 거쳤다.

 ㄴ 기업들의 고유 정보를 활용한 고유한 SLM은 B2B사업으로 확장할 수 있다.

 

ㅁ OnDevice AI로 전환

구분	특징	장점	단점	대표기업
CPU(1세대)	복잡한 계산 순차처리	상대적으로 저렴한 가격	- 낮은 연산 성능 - 추론에 대한 낮은 에너지 효율 - 높은 전력 소비	엔비디아,인텔, AMD
GPU(1세대)	단순 계산 병렬처리
FPGA(2세대)	목적별 하드웨어 재구성 GPU와 ASIC의 중간	용도에 맞는 최적화 유연성	- 낮은 에너지 효율 - 높은 가격	자일링스, 알테라, 인텔, AMD
ASIC(2세대)	AI에 특화된 전용 칩	특정 용도에 맞제 제작 높은 연산속도, 고효율 추론에 대한 저전력 동작	- 높은 설계 비용 - 긴 개발기간 - 낮은 범용성	구글, 인텔, 테슬라, 애플, 엔비디아, MS,IBM, 삼성전자, SKT
뉴로모픽(3세대)	뉴런과 시냅스 구조를 모방한 구조	AI 반도체 중 가장 뛰어난 연산 속도와 에너지 효율	- 낮은 기술 성숙도 - 낮은 범용성	IBM, 퀄컴, 인텔, 삼성전자

ㅇ 반도체 종류별 주요 특성 및 대표 기업

 

ㅇ OnDevice AI의 필요성 및 클라우드의 한계

 ㄴ 클라우드는 기업의 고유 정보와 개인정보의 유출 위험성이 있다.

 ㄴ 보안과 성능을 위해 OnDeviceAI가 필요하다.

 

ㅇ 활용예: 삼성 8K TV

  기준 소스는 4K이기 때문에 활용도가 적게 되면 판매실용성이 떨어질 수 있다. 이를 극복하기 위해 업스케일링이 필요한데, 이를 클라우드를 이용하면, 네트워크로 인한 오버헤드가 발생할 수 있고, 내가 뭘 보는지에 대한 정보가 노출된다. 삼성은 NQ8 AI Gen3 Processor를 장착하여 4K의 소스를 스스로 8K로 향상시킨다. 이것이 온디바이스 AI의 첫번째 사례이다.

 

ㅇ 애플 WWDC 발표에서 들어난 Apple Intelligence

 ㄴ Apple의 LAM, MLLM(Multimodal Large Nanguage Model) Ferret-UI

 ㄴ 앱을 사용하는 사용자 데이터를 학습하여 생성형 AI를 활용하여 명령만으로 앱의 조작을 대신 수행할 수 있다.

 ㄴ 시리를 불러 명령 프롬프트를 부르면 사진 편집, 문자내용 분석 등을 대신 수행할 수 있게 만든다.

 ㄴ AI Agent, Persnal Agent

ㅇ Apple Intelligence

ㅇ 온디바이스에서 해결되지 않으면 클라우드에서 해결하도록 한다.

ㅇ 시리는 AI Agent 스토어 역할을 한다. 다양한 AI 모델을 호출하는 중계자 역할이다.

 

ㅁ 마무리 

요즘 트렌드는 AI의 전성시대이다. 사람들은 원하는 정보를 찾기 위해 검색을 하고 검색어에 근접한 결과 리스트에서 원하는 정보를 찾아야만 했다. 생성형AI는 선언적으로 말하는 명령문을 해석하여 원하는 정보나 결과를 생성해 주고 있다. 심지어 일상에서 사용하는 폰이나 TV에 내장되어 있는 칩을 활용하여 생활에서도 이미 사용하고 있다. 이러한 변화를 이해하기 위해 하고, UX의 변화를 살펴보고, 생성형 AI의 발전 과정을 정리해 보았다. 역사적인 흐름에서 새로운 트랜드인 생성형 AI를 이해한다면, 미래 산업 구조가 판단하고 준비할 수 있을 것이다. 인터넷으로 시작된 정보화 사회가 IPhone의 탄생으로 새로운 전환점을 맞이하였듯, 생성형 AI도 OnDeviceAI를 통해 미래사회 새로운 전환점을 맞이하고 미래 정보화 사회도 큰 변화를 이룩할 것이다. 

 

ㅁ 함께 보면 좋은 사이트

ㅇ [All Around AI 1편] AI의 시작과 발전 과정, 미래 전망

ㅇ 2024년 AI 업계를 달굴 핫 키워드 LAM(대규모 행동 모델)