피터의 개발이야기

ㅁ 개요 AWS EKS로 구성된 워커노드가 가동되어 파드들이 생성되는 과정에서 생성 지연되고 있었다. 원인은 kubernetes 특정 노드가 IP를 과점유하면서 다른 노드에서 파드 생성 시 프라이빗 IP가 부족하여 발생하는 문제였다. 원인 분석 과정에서 WARM_IP_TARGET와 MINIMUM_IP_TARGET의 설정 방법에 대해서 알게 되어서 그 과정을 정리하였다. ㅁ 파드 생성 지연 발생 ㅇ 새로운 노드에서 파드들이 생성되는 중에 지연이 발생하였다. ㅇ 그림처럼 43분동안 계속 ContainerCreating 상태에서 지연이 발생하였다. ㅁ 노드 CPU 부하 확인 ㅁ 특정 노드에 IP 과점유 상태 확인 ㅇ 시스템 점검 중 노드에 보조 프라이빗 IP가 너무 많은 것을 확인하였다. ㅁ WARM_IP_T..

ㅁ 개요 kubernetes 환경에서 노드와 자원의 상태를 확인하기 위해 kubectl top 명령어를 자주 사용한다. 신규 EKS를 설치하고 TOP 명령어가 작동하지 않아 그 원인을 찾고 해결하는 과정을 정리하였다. ㅁ Metrics Server 란? Metrics Server는 클래스터 전체의 리소스 사용 데이터를 어그리게이션합니다. 각 노드에 설치된 kublet을 통해서 노드나 컨테인너의 CPU나 메모리 사용량 같은 메트릭을 수집한다. HPA(horizontal pod autoscaler)나 kubectl top 명령어를 사용하려면 metrics-server를 사용해야 한다. ㅁ 에러 발생 [ec2-user@ip-172-31-43-214 ~]$ kubectl top no error: Metrics ..

ㅁ 개요 ㅇ 프로메테우스를 AWS 환경에 구축 테스트 진행하는 과정에서 발생한 에러 트라블슈팅 ㅇ 쿠버네티스 프로메테우스 설치 과정은 여기에서 볼 수 있다. ㅁ 에러 발생 [ec2-user@ip-172-31-43-214 ~]$ helm install prometheus prometheus-community/kube-prometheus-stack Error: INSTALLATION FAILED: Kubernetes cluster unreachable: exec plugin: invalid apiVersion "client.authentication.k8s.io/v1alpha1" ㅇ 에러에 대해서 검색한 결과 힌트를 찾았다. ㅇ aws eks update-kubeconfig invalid apiVersion..

ㅁ 개요 ㅇ Amazon Elastic Kubernetes Service(Amazon EKS)환경에서 Jenkins를 Pod로 생성하여 사용 중이다 ㅇ 검수계의 경우 비용절감을 위해 일과시간만 사용하다보니 포드가 생성되는 과정에서 에러가 발생할 때가 있다. ㅇ 젠킨스의 error 상황을 확인하고 조치하는 과정을 정리해 보았다. ㅁ 포드 상태 확인 kubectl get pod | grep jenkins ㅇ CrashLoopBackOff 상태로 현재 포드는 기동되어 있지 않은 상태이다. ㅇ CrashLoopBackOff에 걸린 포드가 반복적으로 시작되고 충돌합니다. ㅇ "Back-Off restarting failed container" 출력 메시지를 수신하는 경우     Kubernetes가 컨테이너를 시..