피터의 개발이야기

ㅁ 개요 Webflux로 파일객체를 받아 동기화 하는 로직을 테스트 중 이었다. Postman으로 테스트 과정에서 Invalid boundary in the content type multipart/form-data 다음과 같은 에러가 발생하여 해결하는 과정을 정리하였다. ㅁ 발송 Postman Head와 Body curl --location --request POST 'https://127.0.0.1:8080/legacy/v1/npdb/npdb_00001' \ --header 'Content-Type: multipart/form-data;' \ --form 'file=@"/Users/peterseo/test_10000.sql"' ㅇ 발송할 때에 Content-Type을 multipart/form-dat..

ㅁ 개요 ㅇ AWS의 인스턴스를 생성하면 Date가 항상 UST가 기본으로 되어 있다. ㅇ Timezone을 한국 표준(KST)로 변경하는 과정을 정리하였다. # Localtime 심볼릭 링크를 재설정한다. $ sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime # 적용 확인 $ Date 2022. 08. 24. (수) 21:16:52 KST

ㅁ 개요 개발 회의 도중에 kubernetes 환경에서 구성된 mongoDB의 볼륨을 변경하는 작업이 안건으로 나왔다. 빠르게 kubernetes > mongoDB의 환경을 구성해 보았다. ㅁ 참조 페이지 ㅇ 2개정도 페이지를 참조하여 시도하였지만 실패하였다. ㅇ namespace로 분리를 하여 실패 시 namespace를 지우면 깔끔하게 초기화를 할 수 있다. [ec2-user@ip-172-31-43-214 ~]$ kubectl delete namespaces mongodb namespace "mongodb" deleted How To Deploy MongoDB On Kubernetes - Beginners Guide This article explains the step by step guide to..

ㅁ 개요 SOAP과 REST 비교에 관한 글을 작성하였고, 이번 글은 간결한 URI에 대해서 정리하였다. 이전 글을 읽어보면 REST API의 핵심은 간결성이며, 그 간결성을 통한 궁극적인 통신 속도에 최적화이다. 다시 정리하여 말하자면, SOAP(Simple Object Access Protocol)는 그 자체로 프로토콜이며, 보안이나 메시지 전송 등에 있어서 REST보다 더 많은 표준들로 정의되어 보안을 강조하는 금융권에서 사용하고, REST는 아키텍처 스타일로 기업들에서 애플리에이션 서버에 접속할 수 있는 도구로서 빠른 속도와 수정의 용이성으로 인해 빠르게 시장의 요구를 수용할 수 있다. ㅁ REST API의 탄생 REST는 Representational State Transfer라는 용어의 약자로..

ㅁ 개요 EKS 버젼 업그레이드 테스트 중 기존 생성자 계정와 달라서 권한 문제가 발생하여 신규로 EKS를 생성하게 되었다. 그 과정에서 기존 CLI의 계정을 초기화하고 EC2 Role에 부여된 권한이 필요하였다. 그래서 aws configure에 등록된 Key 정보 초기화하였고 그 정리하였다. ㅁ .aws 폴더 구조 [ec2-user@ip-172-31-43-214 .aws]$ pwd /home/ec2-user/.aws [ec2-user@ip-172-31-43-214 .aws]$ ls config credentials [ec2-user@ip-172-31-43-214 .aws]$ cat config [default] region = ap-northeast-2 [ec2-user@ip-172-31-43-214..

ㅁ 개요 AWS EKS로 구성된 워커노드가 가동되어 파드들이 생성되는 과정에서 생성 지연되고 있었다. 원인은 kubernetes 특정 노드가 IP를 과점유하면서 다른 노드에서 파드 생성 시 프라이빗 IP가 부족하여 발생하는 문제였다. 원인 분석 과정에서 WARM_IP_TARGET와 MINIMUM_IP_TARGET의 설정 방법에 대해서 알게 되어서 그 과정을 정리하였다. ㅁ 파드 생성 지연 발생 ㅇ 새로운 노드에서 파드들이 생성되는 중에 지연이 발생하였다. ㅇ 그림처럼 43분동안 계속 ContainerCreating 상태에서 지연이 발생하였다. ㅁ 노드 CPU 부하 확인 ㅁ 특정 노드에 IP 과점유 상태 확인 ㅇ 시스템 점검 중 노드에 보조 프라이빗 IP가 너무 많은 것을 확인하였다. ㅁ WARM_IP_T..

ㅁ 개요 kubernetes 환경에서 노드와 자원의 상태를 확인하기 위해 kubectl top 명령어를 자주 사용한다. 신규 EKS를 설치하고 TOP 명령어가 작동하지 않아 그 원인을 찾고 해결하는 과정을 정리하였다. ㅁ Metrics Server 란? Metrics Server는 클래스터 전체의 리소스 사용 데이터를 어그리게이션합니다. 각 노드에 설치된 kublet을 통해서 노드나 컨테인너의 CPU나 메모리 사용량 같은 메트릭을 수집한다. HPA(horizontal pod autoscaler)나 kubectl top 명령어를 사용하려면 metrics-server를 사용해야 한다. ㅁ 에러 발생 [ec2-user@ip-172-31-43-214 ~]$ kubectl top no error: Metrics ..

[kubernetes] 쿠버네티스 목차 [kubernetes] 모니터링 방법 정리 ㅁ 개요 kubernetes 환경에서 노드와 자원의 상태를 확인하기 위해 kubectl top 명령어를 자주 사용한다. ㅁ kubectl top no ㅇ 노드의 CPU 자원과 메모니 사용 현황과 퍼센트를 확인 할 수 있다. ㅁ kubectl top po ㅇ 컨테이너의 CPU와 메모니 사용량을 확인 할 수 있다.

지난 시간에는 [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 에 대해서 알아보면서 fluentd에서 HA 구성을 뺀 더 적은 메모리를 사용하는 경량버전인 Fluent-Bit이라고 정의하며 간략하게 마무리 하였다. 그 이후 구체적으로 minikube 환경에서 EFK를 구현하면서 fluentd와 fluentbit의 차이점에 대해서 더욱 궁금하게 되었다. 백엔드 개발자의 입장에서 이미 정제된 데이터를 예쁜 대시보드를 통해 시각화 해주는 Kibana보다, 그 이면에서 실제로 데이터를 수집하기 위한 무거운 작업을 수행하는 Fluentd와 FluentBit에 대해 더 궁금하였다. 그래서 구체적으로 Fluentd와 Fluent Bit의 차이에 대해서 정리하게 되었다. ..

ㅁ 개요 ㅇ [Elasticsearch] EFK 설치(minikube)-2 작업한 내용을 github에 올리는 과정을 정리하였다. ㅁ GIT init $ git init 힌트: Using 'master' as the name for the initial branch. This default branch name 힌트: is subject to change. To configure the initial branch name to use in all 힌트: of your new repositories, which will suppress this warning, call: 힌트: 힌트: git config --global init.defaultBranch 힌트: 힌트: Names commonly chosen..

ㅁ 관련 글 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 ㅇ [Elasticsearch] EFK 설치(minikube)-1 ㅇ [Elasticsearch] EFK 설치(minikube)-2 ㅁ 개요 ㅇ 지난 시간에 [Elasticsearch] EFK 설치(minikube)-1 과정에서 이러지는 내용이다. ㅇ 소스는 여기에 있음. ㅁ kibana.yaml apiVersion: apps/v1 kind: Deployment metadata: name: kibana namespace: elastic labels: app: kibana spec: replicas: 1 selector: matchLabels: app: kibana template: metadat..

ㅁ 사일로(Silo)란? 데브옵스와 대조되는 개념으로 사일로에 대해서 자주 거론된다. 네이버 지식에서는 다음과 같이 정의하고 있다. 부서 이기주의를 의미하는 용어로, 기업 등 조직을 이루는 부서들이 조직의 공동 목표와 이익보다는 자기 부서의 이익만을 추구하여 다른 부서와의 정보 공유 및 소통·협력을 외면하는 현상을 가리킨다. 사일로(silo)는 원래 곡식 및 사료를 저장해 두는 굴뚝 모양의 창고를 가리키는 말이다. 성과주의의 심화로 부서 간 경쟁이 지나치게 과열되면서 발생하는 현상으로, 주로 기업 내에서 수익률이 높은 부서가 희생을 기피하고 타 사업부와 협력하지 않는 등의 형태로 나타난다. 사일로가 발생하면 소통이 어려워져 기업의 성장에 악영향을 미칠 수 있다. ㅁ 사일로 효과를 극복 방법 어렵다면 도와..

ㅁ 개요 DB 부하지표가 발생하여 원인을 분석하였다. 현재 APM으로 사용 중인 Whatap은 라이센스 문제로 slowquery를 보는데에는 한계가 있 다. 부하를 주는 롱쿼리에 대한 분석과정을 개선하고자 AWS RDS 성능개선도우미를 도입하기로 하였고 그 과정을 정리하였다. ㅁ Cloud Watch RDS 부하 지표 확인 ㅇ 현재 RDS 라이트 인스턴스와 리더 인스턴스로 구성되어 있다. ㅇ 리더 인스턴스에서 롱쿼리가 발생하여 CPU 사용량이 증가 되었고 지표상 롱쿼리라 판단을 하였다. ㅇ 물론 운영상 통계를 추출하면서 롱쿼리가 발생할 수 있지만 이런 경우 모니터링 상 문제가 될 수 있기 때문에 전체 공유를 한다. ㅁ Whatap RDS 지표 확인 ㅇ 와탭 > RDS > 인스턴스 모니터링을 확인하면, 현..

[kubernetes] 쿠버네티스 목차 ㅁ 들어가며 ㅇ [AWS] AWS Direct Connect 리소스 모니터링 정리하면서 네트워크 개념에 대해서 궁금했던 것을 정리함. ㅁ Ingress와 egress란? 일반적으로, 네트워크 트래픽은 Ingress와 egress 으로 구분된다. Ingress는 외부로부터 서버 내부로 유입되는 네트워크 트래픽을, egress는 서버 내부에서 외부로 나가는 트래픽을 의미한다

ㅁ 개요 ㅇ [AWS] AWS Direct Connect 리소스 모니터링 정리하면서 네트워크 개념에 대해서 궁금했던 것을 정리함. ㅁ bps, BPS란? ㅇ bps, BPS는 초당 처리된 트래픽의 값을 의미한다. ㅇ 주로 인터넷 속도를 이야기할때 100M라고 표현하기도 했는데 이것이 실제로는 100Mbps를 나타낸다. ㅇ 다만, Bit와 Byte 중 더 큰 단위인 Byte를 사용할 때와 구분하기 위해 소문자 대문자로 구분 지어 표시하고 있다. bps : Bit Per Second(초당 전송되는 bit의 수) 통신 장비(기기)등의 속도를 나타내거나 측정할 때 많이 사용 BPS : Byte Per Second(초당 전송되는 Byte의 수) 자료(Data)등의 전송 시 측정하는 용도로 많이 사용 ㅇ 여기서 유..