피터의 개발이야기

ㅁ 들어가며ㅇ 딥러닝 모델의 성능을 최적화하는 과정에서 하이퍼파라미터 튜닝은 매우 중요한 역할을 한다. 이 과정을 통해 모델의 학습 능력을 향상시키고, 과적합이나 과소적합 문제를 해결할 수 있다. ㅁ 과적합과 과소적합이란?하이퍼파라미터 튜닝을 시작하기 전에, 먼저 과적합과 과소적합 개념을 이해해야 한다.과적합 (Overfitting)과적합은 모델이 학습 데이터에 지나치게 맞춰져 있는 상태를 말한다. 이 경우, 모델은 학습 데이터에 대해서는 매우 높은 성능을 보이지만, 새로운 데이터에 대해서는 성능이 떨어진다. 과소적합 (Underfitting)과소적합은 모델이 학습 데이터를 충분히 학습하지 못한 상태를 의미한다. 이 경우, 모델은 학습 데이터와 새로운 데이터 모두에 대해 낮은 성능을 보인다. ㅁ 하이퍼파..

ㅁ 전이학습이란?ㅇ 전이학습은 기존에 학습된 모델을 새로운 작업이나 데이터셋에 적용하는 기술이다. 이 방법은 학습 속도를 크게 줄이고 성능을 향상시키는 데 도움이 된다. 이는 기존의 학습된 가중치와 구조를 활용함으로써 새로운 작업에 대한 학습 속도를 크게 줄이고, 더 나아가 성능을 향상시키는 데 도움이 된다. 전이학습은 특히 신규 학습을 위해 데이터가 부족한데, 이 문제를 해결하는 데 유용하다.  ㅁ 전이학습의 주요 이점개발 비용과 시간 절감데이터가 부족한 상황에서 유용모델의 재사용성 향상ㅁ 전이학습의 주요 방식1. 사전 학습된 신경망을 분류기로 사용기존 모델의 구조와 가중치를 그대로 사용한다.기존 도메인과 목표 도메인이 매우 유사할 때 적용한다.2. 사전 학습된 신경망을 특징 추출기로 사용기존 모델의 ..

ㅁ 들어가며 현대카드로부터 잔여 금액 청구 안내 알림톡을 받았는데, 사용하지 않던 카드에서 이용잔액이 있다고 하여  조금 당황스러웠다. 이를 조사하는 과정에서 세이브-오토 프로그램에 대해서 알게 되었고, 내가 오해한 부분을 정리하였다. 초기 현대 기아 차량 구매 시 50만원을 할인 받고, 카드 포인트로 상환해야 하는데, 결론적으로 차량 구매 시 캐시백이라 생각했던 50만원은 무이자로 빌린 돈이었다.  ㅁ 세이브-오토 잔여 보인트 알림톡[현대카드] 세이브-오토 잔여 금액 청구 안내 *** 회원님, 세이브-오토가 아래의 사유에 따라 이용 잔액이 일시청구 될 예정입니다. 이용 잔액은 당월 혹은 익월 카드 이용대금에 포함될 예정이며, 금액을 상환하지 않으시면 연체 이자(2개월 유이자할부 약정금리+3% 적용(법정..

ㅁ 들어가며  맥북 M3를 사용 중이다. 로컬에서 GO로 빌드한 실행파일이 서버에서 작동하지 않았다. 이번 글에서는 Intel Xeon 프로세서를 위한 Go 빌드 시 GOARCH 설정에 대해 정리하였다. ㅁ GOARCH란? GOARCH는 Go 언어에서 타겟 아키텍처를 지정하는 환경 변수이다. 이 설정을 통해 특정 CPU 아키텍처에 최적화된 바이너리를 생성할 수 있다. ㅁ Intel Xeon을 위한 GOARCH 설정ㅇ Intel Xeon 프로세서는 서버급 성능을 제공하는 x86-64 아키텍처 기반의 CPU이다.export GOARCH=amd64ㅇ Intel Xeon 프로세서는 x86-64 아키텍처를 사용하므로, GOARCH 값을 "amd64"로 설정해야 한다.ㅇ 이 설정은 64비트 x86 아키텍처를 타겟으..

ㅁ 들어가며ㅇ 개발 조직에서 진정으로 효과적인 문화란 무엇일까?ㅇ 'RnR(Role and Responsibility)을 따지지 않는 문화'에 대해 생각해 보았다.ㅇ SK Summit AI 커뮤니티 운영자 3인방의 Together Talk 동영상과 이동욱님의 품앗이 문화, 예전에 작성한 [DevOps 개념정리] 사일로(Silo Effect)란?을 참조하여 훌륭한 개발 문화에 대해 정리해 보았다.ㅁ 품앗이 문화의 중요성훌륭한 개발 문화의 핵심은 '품앗이 문화'이다. 이는 단순히 자신의 역할에만 집중하는 것이 아니라, 전체 프로젝트의 목표를 위해 서로 돕는 문화를 의미한다. 이와 반대되는 개념으로 예전에 [DevOps 개념정리] 사일로(Silo Effect)란?을 작성하였다. DevOps와 대조되는 개념으..

ㅁ 들어가며  Go 언어로 웹 요청을 보낼 때 http.Client를 사용한다. Client가 proxy설정에 영향을 받는 줄 모르고 트러블 슈팅을 하게 되었다. 이 트러블 슈팅을 하면서 알게 된 http.Client의 프록시 설정에 대해 정리해 보았다. ㅁ  환경 변수를 통한 프록시 설정// HTTP 요청에 대한 프록시 서버 주소export HTTP_PROXY=http://proxy.example.com:8080// HTTPS 요청에 대한 프록시 서버 주소export HTTPS_PROXY=https://proxy.example.com:8080// 프록시를 사용하지 않을 도메인 목록export NO_PROXY=localhost,127.0.0.1,10.0.0.0/8ㅇ Go의 http.Client는 기본적으..

ㅁ 들어가며 알면 쉽지만 모르면 어려운 것이 Linux 명령어이다. 보안상 권한이 막혀 고생했는데. 옵션 하나면 해결될 문제였다.Linux에서 자주 사용되는 sudo 명령어의 -E 옵션에 대해 정리하였다. ㅁ 트러블 내용$ sudo dnf updateRocky Linux 9 - BaseOS ..

ㅁ 들어가며 Docker multi-stage 빌드를 사용하여 Go 애플리케이션의 빌드 환경과 배포 환경을 분리하는 방법에 대해 정리해 보았다. 이 방법을 통해 최종 이미지의 크기를 줄일 수 있다. ㅁ Docker Multi-stage 빌드란?  Docker multi-stage 빌드는 하나의 Dockerfile 내에서 여러 단계(stage)를 나누어 최종 이미지를 생성하는 기술이다. 이를 통해 빌드 환경과 실행 환경을 분리하여 필요 없는 환경을 제거하여 최종 이미지의 크기를 줄인다. ㅁ Go 애플리케이션을 위한 Multi-stage Dockerfile 작성빌드 단계 정의# 빌드 단계FROM golang:1.17 AS builder# 작업 디렉토리 설정WORKDIR /app# Go 모듈 파일 복사 및 의..

ㅁ 들어가며ㅇ Docker에서  Rocky Linux9를 실행하고, FFMPEG을 설치하는 과정을 정리하였다. ㅁ Rocky Linux9 설치이미지 다운로드docker pull rockylinux:9 도커 실행docker run -it --name rocky9 rockylinux:9 /bin/bash 도커 정지docker stop rocky 도커 재시작docker start rocky9docker exec -it rocky9 /bin/bash  ㅁ FFMPEG 설치ㅇ FFmpeg는 AlmaLinux의 기본 저장소에서 직접 사용할 수 없지만 EPEL + CRB 또는 RPM Fusion 저장소를 통해 설치할 수 있다. EPEL 및 CRB 저장소 활성화ㅇ FFMPEG를 설치하는 데 필요한 대부분의 필수 종속성..

ㅁ 들어가며ㅇ Spring Boot의 @Cacheable 어노테이션은 애플리케이션의 성능을 향상시키기 위해 자주 사용되는 캐시 기능을 제공된다.ㅇ 이 글에서는 @Cacheable의 사용법과 관련된 다양한 기능을 Kotlin 예제를 통해 살펴보다. ㅁ Spring Cache Abstration이란? 스프링은 캐시 추상화(Cache Abstraction)을 통해 사용자는 캐시 구현에 대해 신경 쓸 필요 없이 퍼블릭 인터페이스를 쉽게 캐싱 기능을  사용할 수 있는 편리한 캐싱 기능을 지원한다. 캐싱이 필요한 비즈니스 로직에서 EhCache, Redis 등 캐싱 인프라에 의존하지 않고 추상화된 퍼블릭 인터페이스로 캐싱을 할 수 있다. 인터페이스화 되면 EhCache로 사용 중에 Redis로 변경이 쉬워진다. ..

ㅁ 들어가며ㅇ PR처리하다가 Scala에서 flatMap과 match를 함께 사용하는 방법을 간단히 정리 ㅁ flatMap 사용법ㅇ flatMap은 컬렉션을 변환하고 평탄화하는 데 사용val numbers = List(1, 2, 3)val result = numbers.flatMap(x => List(x, x * 2))println(result) // List(1, 2, 2, 4, 3, 6)ㅇ 각 요소를 새로운 컬렉션으로 변환ㅇ 결과 컬렉션들을 하나의 평탄화된 컬렉션으로 만듬. ㅁ match 사용법ㅇ match는 패턴 매칭을 위해 사용되며, 다양한 조건에 따라 다른 결과를 반환할 수 있다.def describe(x: Any): String = x match { case 5 => "five" case ..

ㅁ 들어가며ㅇ 많은 사람들이 겪고 있지만 쉽게 말하기 어려운 주제인 '직장 내 괴롭힘'에 대해 정리해 보았다.ㅇ 이 문제는 개인의 삶뿐만 아니라 조직 전체에도 큰 영향을 미치는 중요한 이슈이다. ㅁ 직장 내 괴롭힘이란?  직장 내 괴롭힘은 직장에서 지위나 관계 등의 우위를 이용해 업무상 적정 범위를 넘어 다른 근로자에게 신체적·정신적 고통을 주거나 근무환경을 악화시키는 행위를 말한다. 이는 2019년 7월부터 근로기준법에 명시되어 법적으로도 금지되고 있다. ㅁ 직장 내 괴롭힘의 유형ㅇ 언어적 괴롭힘: 모욕적인 말, 험담, 위협 등ㅇ 신체적 괴롭힘: 폭행, 위협적인 자세 등ㅇ 업무적 괴롭힘: 과도한 업무 부여, 업무 배제 등ㅇ 관계적 괴롭힘: 따돌림, 무시 등 ㅁ 괴롭힘의 영향 직장 내 괴롭힘은 피해자에게..

ㅁ 들어가며ㅇ 회사에서 GO 언어로 작성된 모듈을 담당하게 되었다.ㅇ 핵심적인 GO의 개요, 설치방법, 기본 문법에 대해서 정리하였다. ㅁ GO 언어 개요 GO는 Google에서 개발한 오픈소스 프로그래밍 언어로, 간결하고 효율적인 코드 작성을 지향한다. 2009년에 처음 발표되었으며, 빠른 컴파일 속도와 동시성 프로그래밍을 쉽게 구현할 수 있는 특징을 가지고 있다. Go의 주요 설계 정책은 가능한 효율적이고 안전하며 뛰어난 프로그램 언어로 만드는 것이다. Go에서는 코드의 쓸데없는 설명과 복잡성을 줄이는 것이 적극적으로 이루어지고 있으며, 단순화를 위해 C++나 Java처럼 계층이나 제네릭스, 예외 처리, 단언문, 오버로드가 없다. 새로운 언어이지만 이미 많은 기업이 사용하고 있다. 특히Kubernet..

ㅁ 들어가며 Kubernetes 환경에서 Ingress-Nginx는 주로 HTTP 및 HTTPS 트래픽을 처리하는 데 사용된다. 하지만 때로는 HTTP가 아닌 TCP나 UDP 트래픽을 외부로 노출해야 할 필요가 있다. 이번 글에서는 Ingress-Nginx를 사용하여 이러한 TCP/UDP 서비스를 어떻게 노출할 수 있는지 정리하였다. ㅁ TCP/UDP노출이 필요한 경우ㅇ 많은 애플리케이션이 HTTP나 HTTPS 외에 TCP나 UDP 프로토콜을 사용한다. - 데이터베이스 (MySQL, PostgreSQL 등) - 메시징 시스템 (RabbitMQ, Kafka 등) - 게임 서버 - IoT 디바이스 통신ㅇ 이러한 서비스들이 Kubernetes 클러스터 외부에서 접근할 수 있어야 할 때가 있다. ㅁ Ingres..

ㅁ 들어가며 오늘은 GitHub에서 인기를 얻고 있는 TinyStatus 프로젝트를 소개하고, 이를 이용해 간단한 상태 페이지를 만드는 방법을 알아보겠다. TinyStatus는 복잡한 설정 없이 빠르게 서비스 상태 페이지를 만들 수 있는 도구다. ㅁ TinyStatus란?TinyStatus는 단일 HTML 파일로 구성된 경량 상태 페이지 생성기다.ㅇ 단일 HTML 파일로 구성ㅇ JavaScript나 서버 사이드 코드 불필요ㅇ 사용자 정의가 쉬운 간단한 구조ㅇ 반응형 디자인으로 모바일 지원ㅇ 다크 모드 지원 ㅁ TinyStatus 로컬 세팅ㅇ 맥북이나 서버에 소스를 다운 받아 설치 및 실행 할 수 있다.# 소스 다운로드 및 폴더이동$ git clone https://github.com/harsxv/tiny..