피터의 개발이야기

ㅁ 들어가며ㅇ 나만의 생성형AI를 구축하는 방법을 공부 중이다.ㅇ 기존 OpenChatGPT는 비용이 발생하고, 개인이나 기업의 정보보호로 인해 업무에 도입하기 어려운 점이 있다.ㅇ 이를 극복하기 위해 로컬에 AI를 구축하여 학습시켜 나만의 생성형AI를 만들고 업무적으로 사용히 가능하다.ㅇ gpt4all을 설치하여 LLM인 Llama 3 8B을 이용하여 로컬 데이터를 학습하는 과정을 정리하였다. ㅁ gpt4all 설치ㅇ GPT4ALL 홈페이지로 이동하여 설치파일을 다운한다. ㅇ 설치 파일을 실행하여 설치 완료. ㅁ GPT4All 실행ㅇ 최초의 GPT화면이다. ㅇ Chats으로 이동하면 새로운 모델을 설치하는 버튼이 있다.ㅇ 한글을 위해 Llama 3 8B Korean Bllossom을 설치하였다.  ㅁ ..

ㅁ 들어가며ㅇ 뉴로모픽(Neuromorphic)은 인간의 뇌와 신경망 구조를 모방하여 설계된 컴퓨팅 기술을 의미한다. ㅁ  기본 개념  뉴로모픽은 '뉴로(neuro, 신경)'와 '모픽(morphic, 형태를 모방하다)'의 합성어로, 생물학적 신경망의 구조와 기능을 하드웨어 차원에서 모방한 기술이다. 인간의 뇌는 약 1000억 개의 뉴런과 100조 개 이상의 시냅스로 구성되어 있으며, 20W의 저전력으로 고도의 연산을 수행한다. 뉴런들은 시냅스를 통해 서로 연결되어 있으며, 이를 통해 신호를 주고받는다. 신경전달물질을 통해 화학적 신호가 전기 신호로 변환되어 전달되는 과정이 뇌의 정보 처리 메커니즘이다.   시냅스 가소성은 학습과 기억의 핵심 메커니즘으로, 반복 학습된 내용은 더 오래 기억된다. 뇌의 이..

ㅁ 들어가며ㅇ [AI] 인공지능에 대한 이해(2017에 정리한 리포트)에서 인공지능의 역사와 알고리즘에 대해 살펴봄으로써 인공지능에 대해 이해하고, 시대적 흐름 속에서 새로운 기술적 도약을 위해 ‘PIM’이라는 컴퓨팅 기술에 대해 정리하였다.ㅇ 이번 글에서는 PIM의 등장배경과 그 특징에 대해서 정리하였다. ㅁ PIM의 등장 배경  AI 시대가 도래하면서 데이터 처리 속도와 메모리 접근 속도 간의 불균형, 일명 'Memory Wall' 문제가 더욱 심각해졌다. 지난 20년간 컴퓨팅 성능은 9만 배 증가한 반면, DRAM 대역폭은 겨우 30배 증가하는데 그쳤다. 자주 사용하는 데이터를 cache에 저장하여 Memory Wall 문제를 극복하려 하였지만 시스템 성능을 효율적으로 사용하기에는 역부족이었다. 이..

ㅁ 들어가며ㅇ Amazon Bedrock으로 쉽게 자동 고객 응대 서비스 구축하기 동영상을 보고 후기를 남긴다.ㅇ 프롬프트 엔지니어링의 필요성에 대해서 이해할 수 있는 동영상이었다.ㅁ 주제 이 동영상은 복잡한 RAG나 파인튜닝 없이 Amazon Bedrock의 한국어 지원 모델을 이용해 고객 리뷰 관리를 자동화하는 애플리케이션을 만들어 보는 과정을 담고 있다.ㅁ 생성형 AI란?대화, 이야기, 이미지, 비디오, 음악을 포함한 새로운 콘텐츠와 아이디어를 생성한다. 광범위한 데이터로 사전 휸련도니 대형 모델들을 기반 모델(Foundation Models,FMs)로 사용한다. ㅁ 생성형 AI의 활용ㅇ 고객 경험 개선 ㄴ 챗봇, 가상 어시스턴트를 활용하고,ㅇ 직무 생산성 향상 ㄴ 코드 생성, 요약, 콘텐츠 생성이..

ㅁ 들어가며ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술에 대해서 정리하였다. ㅇ 2017년부터 대규모 언어 모델(Large Language Models, LLM)의 크기가 급격히 증가하는 이유에 대해서 정리해보았다.ㅁ 언어 모델의 진화ㅇ 2017년 Transformer 모델이 등장한 이후, 언어 모델의 크기는 폭발적으로 증가했다.  - Transformer (2017): 465M 파라미터  - GPT-3 (2020): 175B 파라미터 (Transformer의 376배)  - Switch-C (2021): 1.6T 파라미터  - Wu Dao 2.0 (2021): 1.75T 파라미터 (GPT-3의 10배)  - GPT-4(2023): 1.8T 파라미터 (GPT-3..

ㅁ Collapse 또는 Collapsing이란?ㅇ 사전적의미로 영어로 무너지다, 붕괴하다, 실패하다라는 뜻ㅇ 딥러닝 모델이 학습 과정에서 겪는 문제로, 모델의 출력이 제한된 범위나 특정 값으로 수렴하는 현상을 말한다.ㅁ Complete Collapseㅇ 모든 입력에 대해 동일한 embedding을 출력하는 현상이다.ㅇ 모델이 입력의 다양성을 무시하고 단일 출력으로 수렴된다.ㅁ Dimensional Collapse(차원 붕괴)ㅇ embedding space가 lower-dimensional subspace에만 span되는 현상ㅇ 특정 차원에서만 붕괴가 일어나 전체 특징 공간을 충분히 활용하지 못함ㅁ Mode Collapse ㅇ Mode Collapse 현상은 Generator가 다양한 출력을 생성하지 못..

ㅁ 들어가며ㅇ 이번 글에서는 트랜스 포머 기술에 대해서 정리해 보았다.ㅇ 트랜스포머 기술은 LLM(Large Language Model)의 핵심 요소로, 여러 가지 중요한 장점을 제공합니다. ㅁ 트랜스포머: LLM의 게임 체인저  트랜스포머 아키텍처는 LLM 발전의 핵심 동력이 되었다. ㅇ 병렬 처리 능력  트랜스포머의 가장 큰 장점 중 하나는 뛰어난 병렬 처리 능력이다. 기존의 순차적 모델과 달리, 트랜스포머는 입력 시퀀스를 동시에 처리할 수 있어 학습 및 추론 속도가 크게 향상되었다. 기존의 순차적 모델에서 언어는 단어의 연관관계를 학습하기 위해서는 순차적으로 처리해야 했고, 이는 앞의 단어를 분석한 후 그 다음 글자를 분석해야하는 한계점이 있었다. ㅇ 장거리 의존성 포착  트랜스포머의 자기 주의(..

ㅁ Productivity Paradox란?  생산성 패러독스(Productivity Paradox)는 정보 기술에 대한 막대한 투자에도 불구하고 생산성 증가가 기대만큼 이루어지지 않는 현상을 말한다. 이는 1980년대 후반에 처음 주목받았으며, 경제학자 로버트 솔로우의 이름을 따서 솔로우 패러독스라고도 불린다. 이 현상은. 기술 혁신이 빠르게 진행되고 있음에도 불구하고 경제 성장에 미치는 영향이 제한적인 이유를 설명한다.ㅁ 생산성 패러독스의 원인ㅇ 측정 문제  기술의 경제적 영향을 정확히 측정하기 어려운 경우가 많다. 특히 서비스 산업에서의 기술 혁신은 전통적인 생산성 측정 방식에 잘 반영되지 않을 수 있다.ㅇ 기대와 현실의 차이  기술이 가져올 이익에 대한 과도한 기대가 실제 경제 성장으로 이어지지 ..

ㅁ 들어가며ㅇ 이 글은 멀티모달 AI에 대해 설명하며, 인간처럼 다양한 감각을 통합하여 정보를 처리하는 AI의 중요성과 가능성을 다루고 있다. ㅇ 멀티모달 AI는 텍스트, 이미지, 소리 등 여러 형태의 데이터를 동시에 처리하여 인간과 유사한 방식으로 세상을 이해하고 학습한다. ㅁ 멀티모달 AI의 필요성  기존 AI는 주로 텍스트 기반의 자연어 처리에 집중했으나, 실제 세계의 다양한 정보를 이해하기 위해서는 멀티모달 AI가 필요하다. 이는 AI가 단순한 데이터 처리에서 벗어나 인간처럼 사고할 수 있도록 돕는다. 예를 들어 기존 AI는 '남자가 말을 타고 있다'라는 문장에서 '탄다(ride)'라는 개념을 이해하지 못하고, 말의 크기가 얼마만 한 것인지, 어떤 형태로 타는 것인지 알 수가 없죠. 즉, 데이터 ..

ㅁ 들어가며ㅇ Llama 3.1 모듈을 로컬에 설치하고 LM Studio를 통해 로컬에서 사용하는 방법을 정리하였다. ㅁ Download Ollamaㅇ Ollama를 다운받기 위해 이곳으로 이동한다.ㅇ 다운로드 후 압축을 해제하면 앱이 생성되는데, 이 앱을 실행하였다. ㅇ Coomand line 툴을 설치한다. ㅁ llama3.1 run$ ollama run llama3.1ㅇ 위 명령어를 터미널에서 실행하여 라마 모델을 실행한다. ㅇ 설치를 하면 manifest를 다운받고 CLI로 명령할 수 있게 된다. >>> 안녕안녕하세요! 어떻게 지내세요?>>> 파이썬으로 암호화 하는 코드 짜줘.암호화를 하기 위한 다양한 알고리즘과 라이브러리들이 있습니다. 파이썬에서 일반적으로 사용되는암호화 라이브러리는 `crypt..