피터의 개발이야기

ㅁ 들어가며ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술에 대해서 정리하였다. ㅇ 2017년부터 대규모 언어 모델(Large Language Models, LLM)의 크기가 급격히 증가하는 이유에 대해서 정리해보았다.ㅁ 언어 모델의 진화ㅇ 2017년 Transformer 모델이 등장한 이후, 언어 모델의 크기는 폭발적으로 증가했다.  - Transformer (2017): 465M 파라미터  - GPT-3 (2020): 175B 파라미터 (Transformer의 376배)  - Switch-C (2021): 1.6T 파라미터  - Wu Dao 2.0 (2021): 1.75T 파라미터 (GPT-3의 10배)  - GPT-4(2023): 1.8T 파라미터 (GPT-3..

ㅁ Collapse 또는 Collapsing이란?ㅇ 사전적의미로 영어로 무너지다, 붕괴하다, 실패하다라는 뜻ㅇ 딥러닝 모델이 학습 과정에서 겪는 문제로, 모델의 출력이 제한된 범위나 특정 값으로 수렴하는 현상을 말한다.ㅁ Complete Collapseㅇ 모든 입력에 대해 동일한 embedding을 출력하는 현상이다.ㅇ 모델이 입력의 다양성을 무시하고 단일 출력으로 수렴된다.ㅁ Dimensional Collapse(차원 붕괴)ㅇ embedding space가 lower-dimensional subspace에만 span되는 현상ㅇ 특정 차원에서만 붕괴가 일어나 전체 특징 공간을 충분히 활용하지 못함ㅁ Mode Collapse ㅇ Mode Collapse 현상은 Generator가 다양한 출력을 생성하지 못..

ㅁ 들어가며ㅇ web서비스를 제공하다 보면 원하지 않는 url 공격을 받게 된다.ㅇ 이런 경우를 식별하는 과정과 Nginx에서 특정 URL만 허용하는 방법을 정리해 보았다. ㅁ 잘못된 URL 패턴 확인# webserver에 표출되는 에러 로그 확인docker logs webserver | grep error ㅇ 잘못 접근하는 URL패턴 분석# 잘못된 경로 404 로그 추출$ docker logs webserver | grep 404 > 404.log# 잘못 접근하는 URL패턴 분석$ awk '{print $7}' "404.log" | sort | uniq -c | sort -rn | awk '{print $2 " - " $1 "건"}' | head -n 10/favicon.ico - 1351건/robot..

ㅁ 들어가며ㅇ 지난 글, [Kotlin] Kotlin에서 Long 타입이 null일 때 기본값을 설정하는 방법에서 null 값인 경우 기본값 처리 방법에 대해서 정리하였는데, 이를 응용하여 requestDto.somethingSeq가 null인 경우를 분기 처리하는 방법은 여러 가지가 있어서 그 방법을 정리해 보았다. ㅁ 안전호출 연산자(?)와 엘비스 연산자(?:)val result = requestDto.somethingSeq?.let { seq -> // seq가 null이 아닌 경우 실행될 코드 "Sequence: $seq"} ?: run { // seq가 null인 경우 실행될 코드 "Sequence is null"} ㅁ when 표현식 사용val result = when (..

ㅁ 들어가며ㅇ 이번 글에서는 트랜스 포머 기술에 대해서 정리해 보았다.ㅇ 트랜스포머 기술은 LLM(Large Language Model)의 핵심 요소로, 여러 가지 중요한 장점을 제공합니다. ㅁ 트랜스포머: LLM의 게임 체인저  트랜스포머 아키텍처는 LLM 발전의 핵심 동력이 되었다. ㅇ 병렬 처리 능력  트랜스포머의 가장 큰 장점 중 하나는 뛰어난 병렬 처리 능력이다. 기존의 순차적 모델과 달리, 트랜스포머는 입력 시퀀스를 동시에 처리할 수 있어 학습 및 추론 속도가 크게 향상되었다. 기존의 순차적 모델에서 언어는 단어의 연관관계를 학습하기 위해서는 순차적으로 처리해야 했고, 이는 앞의 단어를 분석한 후 그 다음 글자를 분석해야하는 한계점이 있었다. ㅇ 장거리 의존성 포착  트랜스포머의 자기 주의(..

ㅁ Productivity Paradox란?  생산성 패러독스(Productivity Paradox)는 정보 기술에 대한 막대한 투자에도 불구하고 생산성 증가가 기대만큼 이루어지지 않는 현상을 말한다. 이는 1980년대 후반에 처음 주목받았으며, 경제학자 로버트 솔로우의 이름을 따서 솔로우 패러독스라고도 불린다. 이 현상은. 기술 혁신이 빠르게 진행되고 있음에도 불구하고 경제 성장에 미치는 영향이 제한적인 이유를 설명한다.ㅁ 생산성 패러독스의 원인ㅇ 측정 문제  기술의 경제적 영향을 정확히 측정하기 어려운 경우가 많다. 특히 서비스 산업에서의 기술 혁신은 전통적인 생산성 측정 방식에 잘 반영되지 않을 수 있다.ㅇ 기대와 현실의 차이  기술이 가져올 이익에 대한 과도한 기대가 실제 경제 성장으로 이어지지 ..

ㅁ 들어가며ㅇ 이 글은 멀티모달 AI에 대해 설명하며, 인간처럼 다양한 감각을 통합하여 정보를 처리하는 AI의 중요성과 가능성을 다루고 있다. ㅇ 멀티모달 AI는 텍스트, 이미지, 소리 등 여러 형태의 데이터를 동시에 처리하여 인간과 유사한 방식으로 세상을 이해하고 학습한다. ㅁ 멀티모달 AI의 필요성  기존 AI는 주로 텍스트 기반의 자연어 처리에 집중했으나, 실제 세계의 다양한 정보를 이해하기 위해서는 멀티모달 AI가 필요하다. 이는 AI가 단순한 데이터 처리에서 벗어나 인간처럼 사고할 수 있도록 돕는다. 예를 들어 기존 AI는 '남자가 말을 타고 있다'라는 문장에서 '탄다(ride)'라는 개념을 이해하지 못하고, 말의 크기가 얼마만 한 것인지, 어떤 형태로 타는 것인지 알 수가 없죠. 즉, 데이터 ..

[kubernetes] 쿠버네티스 목차ㅁ 들어가며ㅇ 쿠버네티스 환경에서 어플리케이션의 안정성과 가용성을 유지하는 것은 매우 중요하다.ㅇ 쿠버네티스의 생명 주기에 따라 발생하는 lifecycle hook과 Probe라는 기능을 제공하였다.ㅇ 이 기능의 종류와 특징을 정리하고, 컨테이너의 생명주기 동안 어느 시점에 가동되는지 테스트해 보았다. ㅁ Readiness Probe(준비 확인)ㅇ 컨테이너가 요청을 처리할 준비가 되었는지 확인한다. - 애플리케이션 초기화 완료 여부 확인 - 외부 서비스와의 연결 상태 점검 - Probe 실패 시 해당 파드로의 트래픽 차단 ㅁ Liveness Probe(오류 탐지와 해결)ㅇ 애플리케이션이 정상적으로 동작 중인지 확인한다. - 애플리케이션의 응답 상태 점검 - 문제 발생..

ㅁ 들어가며ㅇ Llama 3.1 모듈을 로컬에 설치하고 LM Studio를 통해 로컬에서 사용하는 방법을 정리하였다. ㅁ Download Ollamaㅇ Ollama를 다운받기 위해 이곳으로 이동한다.ㅇ 다운로드 후 압축을 해제하면 앱이 생성되는데, 이 앱을 실행하였다. ㅇ Coomand line 툴을 설치한다. ㅁ llama3.1 run$ ollama run llama3.1ㅇ 위 명령어를 터미널에서 실행하여 라마 모델을 실행한다. ㅇ 설치를 하면 manifest를 다운받고 CLI로 명령할 수 있게 된다. >>> 안녕안녕하세요! 어떻게 지내세요?>>> 파이썬으로 암호화 하는 코드 짜줘.암호화를 하기 위한 다양한 알고리즘과 라이브러리들이 있습니다. 파이썬에서 일반적으로 사용되는암호화 라이브러리는 `crypt..

ㅁ 들어가며ㅇ 최근 캠핑을 위한 파워뱅크를 살펴보면서 배터리 용량을 다양한 방법으로 표기하고 있어서 전력량을 가늠하기 어려웠었다.ㅇ 이번 글에서는 배터리 용량 표기법을 쉽게 이해하는 방법을 정리해 보았다. ㅁ 배터리 용량 이해하기  배터리를 물탱크에 비유할 수 있다. 물탱크의 크기가 배터리의 용량을 나타내고, 물이 흐르는 속도가 전류의 세기를 나타낸다. 즉, 큰. 물탱크(높은 용량, Wh)는 더 많은 물(전기 에너지)을 저장할 수 있으며, 물이 빠르게. 흐르면(높은 전류, A) 더 많은 물이 짧은 시간에 사용된다.소형 전자기기들은 용량을 크게 보이려는 경향이 있어 mAh를 사용하고, 일반적인 전자기기는 W(소비전력)나 Wh(전기 용량)로 표시하기도 한다.ㅁ mAh (밀리암페어시)ㅇ mAh는 배터리가 1시..