[AI] Peterica의 AI공부와 비젼 정리

ㅁ 들어가며

ㅇ 인공지능에 대한 공부는 2017년부터 시작하였다. 소프트웨어공학을 공부하면서 인공지능에 대한 이해라는 소논문을 작성하였다.

ㅇ 새롭게 합류한 팀이 AI플랫폼을 운영하고 있어서 본격적으로 AI에 대해 공부를 시작하게 되었다.

ㅇ 현재 2021년도 고려사이버대학교에 입학하여 빅데이터와 인공지능에 대해 학업을 이어가고 있다.

ㅇ [AI] Backend · DevOps · SRE를 지나 AI Platform Engineer를 지향하게 된 이유
    ㄴ 앞으로의 “더 잘하는 개발자”가 되려는 게 아니라 다음 세대 엔지니어가 되어야 한다.

 

ㅁ Context Engineering

이론적 접근

ㅇ [AI] 컨텍스트 엔지니어링: 프롬프트를 넘어서 AI의 성공을 설계하는 법
   ㄴ 프롬프트로 AI와 대화를 하지만, 복잡한 설계나 프로젝트 운영 시 컨텍스트를 잘 전달하고 운영하는 방법에 대한 고민

ㅇ [AI] 프롬프트 vs 컨텍스트 엔지니어링 비교, 문서기반개발(DDD)
   ㄴ vibe coding 초기에 프롬프트로 산출된 내용을 DDD 기반으로 컨텍스트 전달하면서 고민했던 내용을 정리

   ㄴ 결국: 정리모드 - pre PRD - PRD.md - taskManager 로 바이브코딩 프로젝트를 수행

 

역할 프롬프트

ㅇ [AI CE][Prompt] ChatGPT를 기획자로 만들기 위한 명령프롬프트 작성법
ㅇ [AI][Prompt] 바이브 코딩(Hackathon Vibe Coding Prompt)으로 1시간 앱만들기 

ㅇ [AI CE] Task 관리와 도구 역할 분리

  ㄴ chatgpt(브래인), cursor(개발엔진), gemini(조력 도우미) 

ㅁ GPT의 뜻

ㅇ Generative 생성하는 
ㅇ Pre-trained 미리 학습된
ㅇ Transformer 인공 신경망

 

ㅁ AI개발전략/기획

ㅇ [AI] 문서 기반 개발 프로세스: AI를 ‘알바생’으로 활용하는 실전 노트

ㅇ [AI] The AI-Native Software Engineer 요약

ㅇ [AI] 환경을 설계하는 시대: 프롬프트에서 컨텍스트 엔지니어링으로
ㅇ [AI] MSA 서비스를 분석하는 가장 확실한 방법– 문서 중심 지식기반 개발 전략
ㅇ [AI] 컨텍스트 엔지니어링: 프롬프트를 넘어서 AI의 성공을 설계하는 법
ㅇ [AI] 문서 기반 개발과 Cursor를 활용한 실전 개발 방법

ㅇ [AI] 메타 프롬프트 사용 방법

ㅇ [AI] Cursor에서 토큰 사용량이 많은가? cache read  줄이는 법

 

ㅁ AI코딩/실습

ㅇ [AI] Gemini CLI 2.0과 Cursor로 실시간 바이브 코딩하기

ㅇ [AI] Gemini CLI와 Cursor로 스마트하게 개발하기: 토큰 절약과 효율 극대화 전략
ㅇ [AI] Cursor v1.2 업데이트 – 더욱 강력해진 기능 소개
ㅇ [바이브코딩] ChatGPT를 기획자로 만들기 위한 명령프롬프트 작성법

ㅇ [AI] AI코딩 관련 동영상 모음

ㅇ [AI] Cursor 토큰 소비 구조와 절약 전략 (실사용 경험 기반)

ㅇ [AI] Cursor에서 토큰 사용량을 획기적으로 줄이는 실전 방법

ㅇ [AI] 토큰 부족, AI 최소 의존 모드

 

ㅁ AI이론/공부

ㅇ [AI] 딥러닝 기초 - 하이퍼파라이터 튜닝: 모델 성능 최적화의 핵심

ㅇ [AI] 전이학습: 딥러닝 모델의 효율적인 재사용 기술

ㅇ [AI] LLM의 Function Calling: AI와 외부 세계를 연결하다

ㅇ SK AI SUMMIT 2024: AI의 미래를 위한 협력의 장

ㅇ [AI] 딥러닝과 컴퓨터 비전 정리2

ㅇ [AI] 딥러닝과 컴퓨터 비전 정리

ㅇ [AI] 기계학습의 분류, 강화학습의 개념 정리

ㅇ [AI] 강화학습의 개념

ㅇ [AI] 뉴로모픽(Neuromorphic)이란?

OpenAI의 연구에 따르면, 언어 모델의 성능은 1. 모델 파라미터 수 2. 데이터셋 크기 3. 학습에 필요한 컴퓨팅 능력에 의해 주로 결정된다. 더 큰 모델과 더 많은 데이터를 사용하면 성능이 지속적으로 향상되며, 대규모 모델이 학습 효율성도 높아진다. 엄청난 컴퓨팅 자원과 대규모 데이터셋이 발전하면서 언어모델도 확장되었다.
- Transformer (2017): 465M 파라미터 
- GPT-3 (2020): 175B 파라미터 (Transformer의 376배) 
- GPT-4(2023): 1.8T 파라미터 (GPT-3의  10.3배)
- 인간의 뇌(100Tb)

ㅇ [AI] 최근 대규모 언어 모델(LLM)의 급격한 성장 이유

사전적의미로 영어로 무너지다, 붕괴하다, 실패하다라는 뜻.
딥러닝 모델이 학습 과정에서 겪는 문제로, 모델의 출력이 제한된 범위나 특정 값으로 수렴하는 현상을 말한다.
  GAN(Generative Adversarial Network)에서의 Mode Collapse은 Generator와 Discriminator의 학습 속도 불균형으로. 인해 발생한다. Discriminator가 너무 빠르게 학습되면, Generator는 Discriminator를 속이기 위해 제한된 범위의 '가짜' 이미지만 생성하게 된다.

ㅇ [AI] Deep Learning에서의 Collapse (Collapsing) 현상

 

트랜스포머란, LM(Large Language Model)의 핵심 요소로
  기존의 순차적 모델과 달리 병렬처리가 가능하고,
  트랜스포머의 자기 주의(self-attention) 메커니즘은 텍스트의 장거리 의존성을 효과적으로 포착하며,
  트랜스포머 모델의 높은 확장성으로 더 많고 큰 모델을 쉽게 확장할 수 있어,
GPT와 같은 거대 언어 모델의 개발을 가능하게 한다.

ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술

 

생산성 패러독스(Productivity Paradox)는 정보 기술에 대한 막대한 투자에도 불구하고 생산성 증가가 기대만큼 이루어지지 않는 현상을 말한다.

ㅇ [AI] Productivity Paradox란?

ㅇ [AI] 멀티모달(Multi-modal)과 MoE(Mixture of Experts)

ㅇ [AI] 멀티모달(Multi Modal) AI란?

  AlphaGo가 기존 바둑프로그램의 한계를 뛰어 넘은 핵심을 더 깊게 이해하기 위해 인공지능에 대한 이해가 필요하다. 이 리포트는 인공지능의 역사와 알고리즘에 대해 살펴봄으로써 인공지능에 대해 이해하고, 시대적 흐름 속에서 새로운 기술적 도약을 위해 ‘PIM’이라는 컴퓨팅 기술에 대해 정리하고자 하였다. 2017년도에 인공지능에 대해 공부하고 리포트로 정리한 글로 LLM의 게임 체인저인 트랜스포머를 알기 전에 작성한 글이다.

ㅇ [AI] 인공지능에 대한 이해(2017에 정리한 리포트)

Mistral NeMo 12B 모델은  엔터프라이즈 애플리케이션을 위한 챗봇, 다국어 작업, 코딩, 요약 등의 작업에 쉽게 맞춤화 및 배포할 수 있다. Mistral AI의 데이터 훈련 전문성과 NVIDIA의 최적화된 하드웨어 및 소프트웨어 생태계를 결합하여 높은 성능을 제공한다.

ㅇ [AI] 최신 언어 모델인 Mistral NeMo 12B

 

Fine-tuning은 사전 훈련된 모델의 가중치가 새로운 데이터에 대해 훈련되는 전이학습에 대한 접근 방식이다. 기계∙시스템 등에서는 "미세 조정"이라는 의미로 사용된다. ChatGPT는 사전에 큰 양의 데이터로 사전 학습(pre-training)된 모델이다. Fine-tuning은 이미 학습된 모델을 새로운 데이터나 새로운 작업(task)에 맞게 추가 학습하는 것을 말한다.

ㅇ [AI] ChatGPT를 Fine-tuning 한다는 것은?

 

 

ㅁ AI산업/동향

ㅇ [AI] AI 학습과 추론, HBM과 GDDR의 차이점
ㅇ [AI] DeepSeek: AI 산업의 새로운 패러다임을 제시하는 혁신적인 중국 스타트업
ㅇ [AI] 슬라이딩 강유전: 메모리 기술의 새로운 지평
ㅇ [AI] 생성형 AI의 미래 산업, 검색의 시대에 대화의 시대, Business AI Agent란
ㅇ [AI] 새로운 트랜드로서의 생성형AI 성장과정 정리, 클라우드에서 Ondevice AI
ㅇ [AI] PIM(Processing In Memory)란?

ㅇ [AI] 카카오 국가대표AI 탈락 이유 분석

 

ㅁ AI플랫폼/서비스

ㅇ [Kakao i] AI Service Agent란?

ㅇ [AI] VESSL AI란?

 

 

ㅁ AI리뷰/에세이

ㅇ [AI] 백엔드 개발자가 본 바이브코딩 - 일할맛 in 판교 세미나 리뷰

ㅇ OpenAI 전직 직원의 ‘Reflections on OpenAI’를 읽고 – 독후감

 

Amazon Bedrock으로 쉽게 자동 고객 응대 서비스 구축하기 동영상을 보고 프롬프트 엔지니어링의 필요성에 대해서 정리한 글이다.

ㅇ [AI] Amazon Bedrock 고객응대 서비스 구축 동영상 후기, 프롬프트 엔지니어링

ㅇ [AI] Gemini에게 대한민국 정치 구조의 문제점을 물어보았습니다.

 

ㅁ AI실험/기록

ㅇ [Cursor] Cursor 단축키 정리

ㅇ [AI] GTP4 Local LLM 사용해보기(GPT4ALL, Llama 3 8B, LocalDocs)

ㅇ [AI] Llama 3 로컬 설치하기

ㅇ [AI] 구글 오픈 AI, 젬마(Gemma) Python으로 사용해 보기

ㅇ [AI] 복붙해서 쓰는 학습 세션 컨텍스트(교사 모드)