피터의 개발이야기

ㅁ 개요 AWS EKS로 구성된 워커노드가 가동되어 파드들이 생성되는 과정에서 생성 지연되고 있었다. 원인은 kubernetes 특정 노드가 IP를 과점유하면서 다른 노드에서 파드 생성 시 프라이빗 IP가 부족하여 발생하는 문제였다. 원인 분석 과정에서 WARM_IP_TARGET와 MINIMUM_IP_TARGET의 설정 방법에 대해서 알게 되어서 그 과정을 정리하였다. ㅁ 파드 생성 지연 발생 ㅇ 새로운 노드에서 파드들이 생성되는 중에 지연이 발생하였다. ㅇ 그림처럼 43분동안 계속 ContainerCreating 상태에서 지연이 발생하였다. ㅁ 노드 CPU 부하 확인 ㅁ 특정 노드에 IP 과점유 상태 확인 ㅇ 시스템 점검 중 노드에 보조 프라이빗 IP가 너무 많은 것을 확인하였다. ㅁ WARM_IP_T..

ㅁ 개요 kubernetes 환경에서 노드와 자원의 상태를 확인하기 위해 kubectl top 명령어를 자주 사용한다. 신규 EKS를 설치하고 TOP 명령어가 작동하지 않아 그 원인을 찾고 해결하는 과정을 정리하였다. ㅁ Metrics Server 란? Metrics Server는 클래스터 전체의 리소스 사용 데이터를 어그리게이션합니다. 각 노드에 설치된 kublet을 통해서 노드나 컨테인너의 CPU나 메모리 사용량 같은 메트릭을 수집한다. HPA(horizontal pod autoscaler)나 kubectl top 명령어를 사용하려면 metrics-server를 사용해야 한다. ㅁ 에러 발생 [ec2-user@ip-172-31-43-214 ~]$ kubectl top no error: Metrics ..

[kubernetes] 쿠버네티스 목차 [kubernetes] 모니터링 방법 정리 ㅁ 개요 kubernetes 환경에서 노드와 자원의 상태를 확인하기 위해 kubectl top 명령어를 자주 사용한다. ㅁ kubectl top no ㅇ 노드의 CPU 자원과 메모니 사용 현황과 퍼센트를 확인 할 수 있다. ㅁ kubectl top po ㅇ 컨테이너의 CPU와 메모니 사용량을 확인 할 수 있다.

지난 시간에는 [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 에 대해서 알아보면서 fluentd에서 HA 구성을 뺀 더 적은 메모리를 사용하는 경량버전인 Fluent-Bit이라고 정의하며 간략하게 마무리 하였다. 그 이후 구체적으로 minikube 환경에서 EFK를 구현하면서 fluentd와 fluentbit의 차이점에 대해서 더욱 궁금하게 되었다. 백엔드 개발자의 입장에서 이미 정제된 데이터를 예쁜 대시보드를 통해 시각화 해주는 Kibana보다, 그 이면에서 실제로 데이터를 수집하기 위한 무거운 작업을 수행하는 Fluentd와 FluentBit에 대해 더 궁금하였다. 그래서 구체적으로 Fluentd와 Fluent Bit의 차이에 대해서 정리하게 되었다. ..

ㅁ 개요 ㅇ [Elasticsearch] EFK 설치(minikube)-2 작업한 내용을 github에 올리는 과정을 정리하였다. ㅁ GIT init $ git init 힌트: Using 'master' as the name for the initial branch. This default branch name 힌트: is subject to change. To configure the initial branch name to use in all 힌트: of your new repositories, which will suppress this warning, call: 힌트: 힌트: git config --global init.defaultBranch 힌트: 힌트: Names commonly chosen..

ㅁ 관련 글 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 ㅇ [Elasticsearch] EFK 설치(minikube)-1 ㅇ [Elasticsearch] EFK 설치(minikube)-2 ㅁ 개요 ㅇ 지난 시간에 [Elasticsearch] EFK 설치(minikube)-1 과정에서 이러지는 내용이다. ㅇ 소스는 여기에 있음. ㅁ kibana.yaml apiVersion: apps/v1 kind: Deployment metadata: name: kibana namespace: elastic labels: app: kibana spec: replicas: 1 selector: matchLabels: app: kibana template: metadat..

ㅁ 사일로(Silo)란? 데브옵스와 대조되는 개념으로 사일로에 대해서 자주 거론된다. 네이버 지식에서는 다음과 같이 정의하고 있다. 부서 이기주의를 의미하는 용어로, 기업 등 조직을 이루는 부서들이 조직의 공동 목표와 이익보다는 자기 부서의 이익만을 추구하여 다른 부서와의 정보 공유 및 소통·협력을 외면하는 현상을 가리킨다. 사일로(silo)는 원래 곡식 및 사료를 저장해 두는 굴뚝 모양의 창고를 가리키는 말이다. 성과주의의 심화로 부서 간 경쟁이 지나치게 과열되면서 발생하는 현상으로, 주로 기업 내에서 수익률이 높은 부서가 희생을 기피하고 타 사업부와 협력하지 않는 등의 형태로 나타난다. 사일로가 발생하면 소통이 어려워져 기업의 성장에 악영향을 미칠 수 있다. ㅁ 사일로 효과를 극복 방법 어렵다면 도와..

ㅁ 개요 DB 부하지표가 발생하여 원인을 분석하였다. 현재 APM으로 사용 중인 Whatap은 라이센스 문제로 slowquery를 보는데에는 한계가 있 다. 부하를 주는 롱쿼리에 대한 분석과정을 개선하고자 AWS RDS 성능개선도우미를 도입하기로 하였고 그 과정을 정리하였다. ㅁ Cloud Watch RDS 부하 지표 확인 ㅇ 현재 RDS 라이트 인스턴스와 리더 인스턴스로 구성되어 있다. ㅇ 리더 인스턴스에서 롱쿼리가 발생하여 CPU 사용량이 증가 되었고 지표상 롱쿼리라 판단을 하였다. ㅇ 물론 운영상 통계를 추출하면서 롱쿼리가 발생할 수 있지만 이런 경우 모니터링 상 문제가 될 수 있기 때문에 전체 공유를 한다. ㅁ Whatap RDS 지표 확인 ㅇ 와탭 > RDS > 인스턴스 모니터링을 확인하면, 현..

[kubernetes] 쿠버네티스 목차 ㅁ 들어가며 ㅇ [AWS] AWS Direct Connect 리소스 모니터링 정리하면서 네트워크 개념에 대해서 궁금했던 것을 정리함. ㅁ Ingress와 egress란? 일반적으로, 네트워크 트래픽은 Ingress와 egress 으로 구분된다. Ingress는 외부로부터 서버 내부로 유입되는 네트워크 트래픽을, egress는 서버 내부에서 외부로 나가는 트래픽을 의미한다

ㅁ 개요 ㅇ [AWS] AWS Direct Connect 리소스 모니터링 정리하면서 네트워크 개념에 대해서 궁금했던 것을 정리함. ㅁ bps, BPS란? ㅇ bps, BPS는 초당 처리된 트래픽의 값을 의미한다. ㅇ 주로 인터넷 속도를 이야기할때 100M라고 표현하기도 했는데 이것이 실제로는 100Mbps를 나타낸다. ㅇ 다만, Bit와 Byte 중 더 큰 단위인 Byte를 사용할 때와 구분하기 위해 소문자 대문자로 구분 지어 표시하고 있다. bps : Bit Per Second(초당 전송되는 bit의 수) 통신 장비(기기)등의 속도를 나타내거나 측정할 때 많이 사용 BPS : Byte Per Second(초당 전송되는 Byte의 수) 자료(Data)등의 전송 시 측정하는 용도로 많이 사용 ㅇ 여기서 유..