피터의 개발이야기

ㅁ 개요 ㅇ CloudWatch 볼륨 지표상에서 Elasticsearch Data Node 볼륨의 병목현상이 발견됨. ㅇ 병목현상의 원인 분석 및 해결 과정 정리 ㅁ 병목현상 확인 ㅇ data node의 볼륨 IO가 병목이 발생하여 IO가 100% 상황 발생하였다. ㅁ 원인분석 GET /_nodes/hot_threads?pretty ㅇ 키바나의 Dev Tools를 이용하여 부하가 발생하는 스래드를 찾았다. 100.0% [cpu=71.2%, other=28.8%] (500ms out of 500ms) cpu usage by thread 'elasticsearch[elasticsearch-data-0][write][T#1]' 5/10 snapshots sharing following 30 elements j..

ㅁ 개요 ㅇ Elasticsearch(이후 ES) Data 노드에서 볼륨 유휴시간이 갑자기 떨어지고, ES 내부 로그에서 rejected exception을 확인하였다. ㅇ rejected exception을 분석하고 ES의 thread pool의 개념을 정리하였다. ㅇ 참조 사이트는 여기 ㅁ ES Data-1의 볼륨 유휴시간 지표 ㅇ CloudWatch에 Volume 지표를 모니터링 중에 ES Data-1의 유휴시간에 특이사항을 발견하였다. ㅇ 키바나에서 클러스터 상태를 확인하니 yellow 상태였다. ㅇ 기존에 ES가 Volume에 병목이 종종 발생하는 터라 ES Pod 내부의 로그를 확인하였다. ㅁ ES 에러로그 {"type": "server", "timestamp": "2022-08-29T01:0..

ㅁ 관련 글 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 ㅇ [Elasticsearch] EFK 설치(minikube)-1 ㅇ [Elasticsearch] EFK 설치(minikube)-2 ㅁ 개요 ㅇ 지난 시간에 [Elasticsearch] EFK 설치(minikube)-1 과정에서 이러지는 내용이다. ㅇ 소스는 여기에 있음. ㅁ kibana.yaml apiVersion: apps/v1 kind: Deployment metadata: name: kibana namespace: elastic labels: app: kibana spec: replicas: 1 selector: matchLabels: app: kibana template: metadat..

ㅁ 관련 글 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 ㅇ [Elasticsearch] EFK 설치(minikube)-1 ㅇ [Elasticsearch] EFK 설치(minikube)-2 ㅁ 개요 ㅇ 지난 글, [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란에서 EFK란 무엇인지를 알아보았다. ㅇ 실습을 위해 EFK를 minikube 환경에 설치하는 과정을 1, 2부로 나뉘어 정리하였다. ㅇ 관련 소스는 여기 ㅁ minikube 가동 $ minikube start --cpus 4 --memory 8192 😄 Darwin 11.2 의 minikube v1.25.2 🆕 이제 1.23.3 버전의 쿠버네티스를 ..

ㅁ 관련 글 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 ㅇ [Elasticsearch] EFK 설치(minikube)-1 ㅇ [Elasticsearch] EFK 설치(minikube)-2 ㅁ 개요 AWS Kubernetes환경에서 EFK(Elasticsearch, Fluentd, kibana) 구축하는 과정을 정리하였다. ㅁ EFK란? EFK란 Elasticsearch + Fluentd + Kibana의 단순말이다. 쿠버네티스환경에서 수많은 컨테이너의 로그를 수집하여 통합적으로 로그를 UI로 확인할 수 있는 인터페이스이다. 오케스트레이션 환경에서 파드가 생성되고 삭제되는 과정에서 로그를 관리하기란 어려운 일이다. 이를 해결하기 위해 쿠버네티스에서 E..

ㅁ 개요 ㅇ Elasticsearch의 data 노드가 사용하는 볼륨에 DISK IO에서 비정상적인 지표가 확인되었다. ㅇ 원인분석을 하였지만, 트래픽도 평균을 유지하였고, Kibana에서 롱쿼리를 날리지도 않은 상태였다. ㅇ pod가 자체적으로 restart를 하는 것이 확인되어 ES data 두 노드를 재기동하였고 증상은 해결되었다. ㅁ Elasticsearch data의 모니터링 이유 ㅇ 144개의 컨테이너 중에서 elasticsearch data의 CPU와 메모리 사용량이 제일 높다. ㅇ 모든 컨테이너들의 로그를 처리하고 있어서 트래픽이 높아지면 elasticsearch의 부하도 함께 증가하기 때문에 모니터링이 필요하다. ㅇ 특히 data의 데이터 저장을 위해 disk IO가 많이 상승할 때가 있..

ㅁ 개요 ㅇ Elasticsearch를 이야기 하면서 개념적으로 헷갈리는 부분이 있어서 정리를 하였다. ㅇ index와 indices, node, Documents에 관한 설명이다. ㅁ 용어 개념 정리 ㅇ 도큐먼트는 가장 기본 단위로 로그 한줄을 말한다. ㅇ index는 도큐먼트의 논리적인 한 묶음이다. ㅇ indices는 언어적으로는 index의 복수형을 뜻하고, index의 물리적인 의미로 저장소 단위 개념이다. ㅇ shard는 indices의 분산저장 단위이다. ㅇ 위의 이미지를 참조하여 설명하면, elasticsearch의 인프라는 3개의 master node와 2개의 data node로 구성되어 총 5개 노드가 있다. ㅇ shard는 5개의 노드 중에서 data 노드에 24개의 indices가 ..