피터의 개발이야기

ㅁ 들어가며ㅇ 뉴로모픽(Neuromorphic)은 인간의 뇌와 신경망 구조를 모방하여 설계된 컴퓨팅 기술을 의미한다. ㅁ  기본 개념  뉴로모픽은 '뉴로(neuro, 신경)'와 '모픽(morphic, 형태를 모방하다)'의 합성어로, 생물학적 신경망의 구조와 기능을 하드웨어 차원에서 모방한 기술이다. 인간의 뇌는 약 1000억 개의 뉴런과 100조 개 이상의 시냅스로 구성되어 있으며, 20W의 저전력으로 고도의 연산을 수행한다. 뉴런들은 시냅스를 통해 서로 연결되어 있으며, 이를 통해 신호를 주고받는다. 신경전달물질을 통해 화학적 신호가 전기 신호로 변환되어 전달되는 과정이 뇌의 정보 처리 메커니즘이다.   시냅스 가소성은 학습과 기억의 핵심 메커니즘으로, 반복 학습된 내용은 더 오래 기억된다. 뇌의 이..

ㅁ 들어가며ㅇ [AI] 인공지능에 대한 이해(2017에 정리한 리포트)에서 인공지능의 역사와 알고리즘에 대해 살펴봄으로써 인공지능에 대해 이해하고, 시대적 흐름 속에서 새로운 기술적 도약을 위해 ‘PIM’이라는 컴퓨팅 기술에 대해 정리하였다.ㅇ 이번 글에서는 PIM의 등장배경과 그 특징에 대해서 정리하였다. ㅁ PIM의 등장 배경  AI 시대가 도래하면서 데이터 처리 속도와 메모리 접근 속도 간의 불균형, 일명 'Memory Wall' 문제가 더욱 심각해졌다. 지난 20년간 컴퓨팅 성능은 9만 배 증가한 반면, DRAM 대역폭은 겨우 30배 증가하는데 그쳤다. 자주 사용하는 데이터를 cache에 저장하여 Memory Wall 문제를 극복하려 하였지만 시스템 성능을 효율적으로 사용하기에는 역부족이었다. 이..

ㅁ 들어가며ㅇ Amazon Bedrock으로 쉽게 자동 고객 응대 서비스 구축하기 동영상을 보고 후기를 남긴다.ㅇ 프롬프트 엔지니어링의 필요성에 대해서 이해할 수 있는 동영상이었다.ㅁ 주제 이 동영상은 복잡한 RAG나 파인튜닝 없이 Amazon Bedrock의 한국어 지원 모델을 이용해 고객 리뷰 관리를 자동화하는 애플리케이션을 만들어 보는 과정을 담고 있다.ㅁ 생성형 AI란?대화, 이야기, 이미지, 비디오, 음악을 포함한 새로운 콘텐츠와 아이디어를 생성한다. 광범위한 데이터로 사전 휸련도니 대형 모델들을 기반 모델(Foundation Models,FMs)로 사용한다. ㅁ 생성형 AI의 활용ㅇ 고객 경험 개선 ㄴ 챗봇, 가상 어시스턴트를 활용하고,ㅇ 직무 생산성 향상 ㄴ 코드 생성, 요약, 콘텐츠 생성이..

ㅁ 들어가며ㅇ 맥에서 크롬 브라우저를 사용하면서 http로 접근해야 하는 사이트가 https로 자동 전환되는 문제를 해결하는 방법을 정리하였다.  ㅁ Https로 전환 이유ㅇSSL인증서가 적용된 사이트ㅇ 크롬에서 한번이라도 https로 접속했던 경우 자동으로 https로 리다이렉트 된다. ㅁ Https 해제  방법HSTS 설정 제거하기ㅇ 크롬 브라우저를 열고 주소창에 다음을 입력한다.chrome://net-internals/#hstsㅇ Delete domain security policies섹션을 선택한다.ㅇ 문제가 되는 도메인을 입력한다.ㅇ Delete 버튼을 클릭한다. ㅁ 추가 조치ㅇ 위 방법으로 해결되지 않는다면, 다음 단계를 시도할 수 있다. [추가] - 같은 페이지의 "Add HSTS domai..

ㅁ Git이란?Git은 분산 버전 관리 시스템입니다. 코드 변경 사항을 추적하고 여러 개발자가 협업하는 데 도움을 줍니다.ㅁ 기본 명령어git init: 새 저장소 생성git clone [url]: 원격 저장소 복제git add [파일]: 변경 사항 스테이징git commit -m "[메시지]": 변경 사항 커밋git push: 원격 저장소에 변경 사항 업로드git pull: 원격 저장소에서 변경 사항 가져오기ㅁ 브랜치 관리git branch: 브랜치 목록 확인git branch [이름]: 새 브랜치 생성git checkout [브랜치]: 브랜치 전환git merge [브랜치]: 현재 브랜치에 다른 브랜치 병합ㅁ 유용한 팁git status: 현재 상태 확인git log: 커밋 히스토리 확인git dif..

ㅁ 들어가며ㅇ [AI] 언어 모델의 병렬처리를 가능하게 한 트렌스포머(Transformer) 기술에 대해서 정리하였다. ㅇ 2017년부터 대규모 언어 모델(Large Language Models, LLM)의 크기가 급격히 증가하는 이유에 대해서 정리해보았다.ㅁ 언어 모델의 진화ㅇ 2017년 Transformer 모델이 등장한 이후, 언어 모델의 크기는 폭발적으로 증가했다.  - Transformer (2017): 465M 파라미터  - GPT-3 (2020): 175B 파라미터 (Transformer의 376배)  - Switch-C (2021): 1.6T 파라미터  - Wu Dao 2.0 (2021): 1.75T 파라미터 (GPT-3의 10배)  - GPT-4(2023): 1.8T 파라미터 (GPT-3..

ㅁ Collapse 또는 Collapsing이란?ㅇ 사전적의미로 영어로 무너지다, 붕괴하다, 실패하다라는 뜻ㅇ 딥러닝 모델이 학습 과정에서 겪는 문제로, 모델의 출력이 제한된 범위나 특정 값으로 수렴하는 현상을 말한다.ㅁ Complete Collapseㅇ 모든 입력에 대해 동일한 embedding을 출력하는 현상이다.ㅇ 모델이 입력의 다양성을 무시하고 단일 출력으로 수렴된다.ㅁ Dimensional Collapse(차원 붕괴)ㅇ embedding space가 lower-dimensional subspace에만 span되는 현상ㅇ 특정 차원에서만 붕괴가 일어나 전체 특징 공간을 충분히 활용하지 못함ㅁ Mode Collapse ㅇ Mode Collapse 현상은 Generator가 다양한 출력을 생성하지 못..

ㅁ 들어가며ㅇ web서비스를 제공하다 보면 원하지 않는 url 공격을 받게 된다.ㅇ 이런 경우를 식별하는 과정과 Nginx에서 특정 URL만 허용하는 방법을 정리해 보았다. ㅁ 잘못된 URL 패턴 확인# webserver에 표출되는 에러 로그 확인docker logs webserver | grep error ㅇ 잘못 접근하는 URL패턴 분석# 잘못된 경로 404 로그 추출$ docker logs webserver | grep 404 > 404.log# 잘못 접근하는 URL패턴 분석$ awk '{print $7}' "404.log" | sort | uniq -c | sort -rn | awk '{print $2 " - " $1 "건"}' | head -n 10/favicon.ico - 1351건/robot..

ㅁ 들어가며ㅇ 지난 글, [Kotlin] Kotlin에서 Long 타입이 null일 때 기본값을 설정하는 방법에서 null 값인 경우 기본값 처리 방법에 대해서 정리하였는데, 이를 응용하여 requestDto.somethingSeq가 null인 경우를 분기 처리하는 방법은 여러 가지가 있어서 그 방법을 정리해 보았다. ㅁ 안전호출 연산자(?)와 엘비스 연산자(?:)val result = requestDto.somethingSeq?.let { seq -> // seq가 null이 아닌 경우 실행될 코드 "Sequence: $seq"} ?: run { // seq가 null인 경우 실행될 코드 "Sequence is null"} ㅁ when 표현식 사용val result = when (..

ㅁ 들어가며ㅇ 이번 글에서는 트랜스 포머 기술에 대해서 정리해 보았다.ㅇ 트랜스포머 기술은 LLM(Large Language Model)의 핵심 요소로, 여러 가지 중요한 장점을 제공합니다. ㅁ 트랜스포머: LLM의 게임 체인저  트랜스포머 아키텍처는 LLM 발전의 핵심 동력이 되었다. ㅇ 병렬 처리 능력  트랜스포머의 가장 큰 장점 중 하나는 뛰어난 병렬 처리 능력이다. 기존의 순차적 모델과 달리, 트랜스포머는 입력 시퀀스를 동시에 처리할 수 있어 학습 및 추론 속도가 크게 향상되었다. 기존의 순차적 모델에서 언어는 단어의 연관관계를 학습하기 위해서는 순차적으로 처리해야 했고, 이는 앞의 단어를 분석한 후 그 다음 글자를 분석해야하는 한계점이 있었다. ㅇ 장거리 의존성 포착  트랜스포머의 자기 주의(..