피터의 개발이야기

ㅁ 들어가며ㅇ 회사 팀 회의에서 ElasticSearch의 실시간 조회에 대한 이야기를 나누었다. ㅇ 기존에 경험했던 내용을 설명하는 단계에서 기본 개념과 용어가 잘 생각이 나지 않아 다시 종합적으로 공부가 필요했다.ㅇ 이번 글은 ElasticSearch 기본 개념 정리에 대해서 정리하였다.ㅁ ElasticSearch 소개ElasticSearch는 분산형 검색 및 분석 엔진으로, REST API를 통해 모든 기능을 제공한다. 대량의 데이터를 빠르게 저장, 검색, 분석할 수 있는 강력한 도구이다. 쿠버네티스 환경에서 분산된 로그를 수집하여 통합적인 로그 점검을 위해 사용한 적이 있다. 관련글:[Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란[Elasticsear..

ㅁ 들어가며ㅇ Kibana Query Language(KQL)는 Elasticsearch 데이터를 효과적으로 검색하고 필터링하기 위한 강력한 쿼리 언어다. 이 글에서는 KQL의 주요 기능과 사용법을 정리하였다. ㅁ 관련 글ㅇ [kotlin] Spring Data Elasticsearch 샘플코드ㅇ [Elasticsearch] Elasticsearch + Kibana 설치하기 with Dockerㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기ㅇ [Elasticsearch] Kibana Query Language 사용법 정리 ㅁ 기본 구문field:valueㅇ 예를 들어 username:john은 username이 john인 데이터를 조회한다. ㅁ 와일드카드 검색*..

ㅁ 들어가며ㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기에서 Elasticsearch를설치하였다.ㅇ 공식 문서 - Install Elasticsearch with Docker의 내용을 토대로 docker 설치과정을 맥미니에서 수행해 보았다.ㅇ 테스트 용으로 단일 노드 클러스터로 진행하였다. ㅁ 관련 글ㅇ [kotlin] Spring Data Elasticsearch 샘플코드ㅇ [Elasticsearch] Elasticsearch + Kibana 설치하기 with Dockerㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기ㅇ [Elasticsearch] Kibana Query Language 사용법 정리 ㅁ elasti..

ㅁ 들어가며ㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기을 하면서 발생한 https 에러를 해결하는 과정을 정리하였다.ㅇ 이 해결방법은 로컬 개발환경에서 테스트를 위한 해결방법이다. 그래서 운영환경에서는 인증서 설치 과정을 수행해야 한다.  ㅁ 에러 상황# 통신 수행$ curl -X GET "localhost:9200/?pretty"# 에러 내용received plaintext http traffic on an https channel, closing connection Netty4HttpChannel# row logs{"@timestamp":"2024-07-28T21:48:38.081Z", "log.level": "WARN", "message":"receiv..

ㅁ 들어가며ㅇ 프로젝트 진행 중에 Elasticsearch에 비정규화 테이터를 저장하는 요건이 발생하여 개인적으로 Elasticsearch를 집에 설치해 보았다.ㅇ 이 글은 Docker로 Elasticsearch 설치 및 테스트하는 과정을 정리하였다.ㅇ 기본적으로 도커는 설치 되어 있어야 한다. ㅁ 관련 글ㅇ [kotlin] Spring Data Elasticsearch 샘플코드ㅇ [Elasticsearch] Elasticsearch + Kibana 설치하기 with Dockerㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기ㅇ [Elasticsearch] Kibana Query Language 사용법 정리 ㅁ Elasticsearch 이미지 다운로드docker ..

ㅁ 개요 ㅇ Elasticsearch Data 노드의 높은 메모리 사용량을 분석하고, ㅇ "해결 방법을 함께 보면 좋은 사이트"를 참조하여 Elasticsearch 클러스터의 높은 메모리 사용률 문제를 분석방법을 정리하였다. ㅁ 함께 보면 좋은 사이트ㅇ Elasticsearch 블로그 - Elasticsearch 메모리 관리 및 문제 해결ㅇ AWS DOC - Amazon OpenSearch Service 클러스터의 높은 CPU 사용률 문제를 해결하려면 어떻게 해야 합니까?ㅇ 토스 - 대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기 ㅁ 와탭을 통한 지표 수집ㅇ whatap에서 수집된 컨테이너 리소스 정보이다.ㅇ Elasticsearch의 Data 노드에 할당된  메모리 10GB 중 9...

ㅁ 개요 ㅇ CloudWatch 볼륨 지표상에서 Elasticsearch Data Node 볼륨의 병목현상이 발견됨. ㅇ 병목현상의 원인 분석 및 해결 과정 정리 ㅁ 병목현상 확인 ㅇ data node의 볼륨 IO가 병목이 발생하여 IO가 100% 상황 발생하였다. ㅁ 원인분석 GET /_nodes/hot_threads?pretty ㅇ 키바나의 Dev Tools를 이용하여 부하가 발생하는 스래드를 찾았다. 100.0% [cpu=71.2%, other=28.8%] (500ms out of 500ms) cpu usage by thread 'elasticsearch[elasticsearch-data-0][write][T#1]' 5/10 snapshots sharing following 30 elements j..

ㅁ 개요 ㅇ Elasticsearch(이후 ES) Data 노드에서 볼륨 유휴시간이 갑자기 떨어지고, ES 내부 로그에서 rejected exception을 확인하였다. ㅇ rejected exception을 분석하고 ES의 thread pool의 개념을 정리하였다. ㅇ 참조 사이트는 여기 ㅁ ES Data-1의 볼륨 유휴시간 지표 ㅇ CloudWatch에 Volume 지표를 모니터링 중에 ES Data-1의 유휴시간에 특이사항을 발견하였다. ㅇ 키바나에서 클러스터 상태를 확인하니 yellow 상태였다. ㅇ 기존에 ES가 Volume에 병목이 종종 발생하는 터라 ES Pod 내부의 로그를 확인하였다. ㅁ ES 에러로그 {"type": "server", "timestamp": "2022-08-29T01:0..

ㅁ 관련 글 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 ㅇ [Elasticsearch] EFK 설치(minikube)-1 ㅇ [Elasticsearch] EFK 설치(minikube)-2 ㅁ 개요 ㅇ 지난 시간에 [Elasticsearch] EFK 설치(minikube)-1 과정에서 이러지는 내용이다. ㅇ 소스는 여기에 있음. ㅁ kibana.yaml apiVersion: apps/v1 kind: Deployment metadata: name: kibana namespace: elastic labels: app: kibana spec: replicas: 1 selector: matchLabels: app: kibana template: metadat..

ㅁ 관련 글 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 ㅇ [Elasticsearch] EFK 설치(minikube)-1 ㅇ [Elasticsearch] EFK 설치(minikube)-2 ㅁ 개요 ㅇ 지난 글, [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란에서 EFK란 무엇인지를 알아보았다. ㅇ 실습을 위해 EFK를 minikube 환경에 설치하는 과정을 1, 2부로 나뉘어 정리하였다. ㅇ 관련 소스는 여기 ㅁ minikube 가동 $ minikube start --cpus 4 --memory 8192 😄 Darwin 11.2 의 minikube v1.25.2 🆕 이제 1.23.3 버전의 쿠버네티스를 ..