[kubernetes] Events 시간 단위로 소팅

[kubernetes] 쿠버네티스 목차

[kubernetes] 모니터링 방법 정리

ㅁ 개요 

 ㅇ EKS에 순단이 발생하여 장애상황이 발생하였다. 

 ㅇ 장애상황을 확인하는데, 정렬되어 있지 않은 EKS 이벤트 확인이 어려웠다.

 ㅇ EKS 이벤트의 정렬 방법을 정리하였다.

 

 

ㅁ 소팅 조회방법

kubectl get events --sort-by='.metadata.creationTimestamp' -A

kube-system   60m         Normal    LeaderElection           lease/kube-scheduler                                     ip-10-0-96-181.ap-northeast-2.compute.internal_f02cf5ab-2657-4180-ba3c-a2d39f55f3dd became leader
kube-system   60m         Normal    LeaderElection           lease/cloud-controller-manager                           ip-10-0-59-113.ap-northeast-2.compute.internal_3e65451d-6010-4ccb-96c1-2e244d767f74 became leader
kube-system   60m         Normal    LeaderElection           lease/kube-controller-manager                            ip-10-0-59-113.ap-northeast-2.compute.internal_081a708b-2b03-496b-a647-a90ec4f7bddb became leader
kube-system   60m         Normal    LeaderElection           lease/cloud-provider-extraction-migration                ip-10-0-59-113.ap-northeast-2.compute.internal_3e65451d-6010-4ccb-96c1-2e244d767f74 became leader
kube-system   59m         Normal    LeaderElection           lease/cp-vpc-resource-controller                         ip-10-0-96-181.ap-northeast-2.compute.internal_02b20544-f4b3-44da-a735-58a0535950de became leader
kube-system   59m         Normal    LeaderElection           configmap/cp-vpc-resource-controller                     ip-10-0-96-181.ap-northeast-2.compute.internal_02b20544-f4b3-44da-a735-58a0535950de became leader
kube-system   59m         Normal    LeaderElection           configmap/eks-certificates-controller                    ip-10-0-59-113.ap-northeast-2.compute.internal became leader
kube-system   59m         Normal    LeaderElection           lease/eks-certificates-controller                        ip-10-0-59-113.ap-northeast-2.compute.internal became leader

 ㅇ kube-system의 이벤트만을 추추랗였다.

 ㅇ EKS 자체의 마스터 노드 인스턴스에 문제가 있는 것으로 판단이 되었다.

 

 

ㅁ 시간단위 상세조회 방법

kubectl get ev --sort-by count -o custom-columns='NAME:.metadata.name,KIND:involvedObject.kind,MSG:.message,FIRST:firstTimestamp,COUNT:.count'

 ㅇ 이벤트 확인 시 발생 빈도와 종료에 따라 소팅해서 보여준다.

 ㅇ 시간도 초단위까지 확인할 수 있다.

 

 

ㅁ 함께 보면 좋은 사이트

kubectl JSON and sort examples

쿠버네티스에서 노드가 추가될 때마다 슬랙 알람 쏘기

 ㅇ 이벤트에 대한 설명이 잘되어 있음.