피터의 개발이야기

ㅁ 들어가며 Kibana를 쓰다 보면 검색창 우측의 KQL(Kibana Query Language) 과 Lucene 중 무엇을 써야 할지 헷갈리기 쉽다. 이번 글에서는 KQL과 Lucene의 개념 차이, 문법 비교, 그리고 실행 흐름을 정리해 보았다. ㅁ KQL vs Lucene 개념ㅇ Lucene QueryElasticsearch가 기본 제공하는 검색 언어문자열 중심, 오래된 표준이자 범용성 높음ㅇ Kibana Query Language (KQL)Kibana가 Lucene을 더 쉽게 쓰도록 만든 상위 문법필드 타입 인식, 자동 완성, 오타 검증 등 UI 친화적 기능 제공 ㅁ 문법 비교목적LuceneKQL필드 일치status:200status : 200NOT-status:200!status : 20..

ㅁ 들어가며ㅇ 회사 팀 회의에서 ElasticSearch의 실시간 조회에 대한 이야기를 나누었다. ㅇ 기존에 경험했던 내용을 설명하는 단계에서 기본 개념과 용어가 잘 생각이 나지 않아 다시 종합적으로 공부가 필요했다.ㅇ 이번 글은 ElasticSearch 기본 개념 정리에 대해서 정리하였다.ㅁ ElasticSearch 소개ElasticSearch는 분산형 검색 및 분석 엔진으로, REST API를 통해 모든 기능을 제공한다. 대량의 데이터를 빠르게 저장, 검색, 분석할 수 있는 강력한 도구이다. 쿠버네티스 환경에서 분산된 로그를 수집하여 통합적인 로그 점검을 위해 사용한 적이 있다. 관련글:[Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란[Elasticsear..

ㅁ 들어가며ㅇ Kibana Query Language(KQL)는 Elasticsearch 데이터를 효과적으로 검색하고 필터링하기 위한 강력한 쿼리 언어다. 이 글에서는 KQL의 주요 기능과 사용법을 정리하였다. ㅁ 관련 글ㅇ [kotlin] Spring Data Elasticsearch 샘플코드ㅇ [Elasticsearch] Elasticsearch + Kibana 설치하기 with Dockerㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기ㅇ [Elasticsearch] Kibana Query Language 사용법 정리 ㅁ 기본 구문field:valueㅇ 예를 들어 username:john은 username이 john인 데이터를 조회한다. ㅁ 와일드카드 검색*..

ㅁ 들어가며ㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기에서 Elasticsearch를설치하였다.ㅇ 공식 문서 - Install Elasticsearch with Docker의 내용을 토대로 docker 설치과정을 맥미니에서 수행해 보았다.ㅇ 테스트 용으로 단일 노드 클러스터로 진행하였다. ㅁ 관련 글ㅇ [kotlin] Spring Data Elasticsearch 샘플코드ㅇ [Elasticsearch] Elasticsearch + Kibana 설치하기 with Dockerㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기ㅇ [Elasticsearch] Kibana Query Language 사용법 정리 ㅁ elasti..

ㅁ 들어가며ㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기을 하면서 발생한 https 에러를 해결하는 과정을 정리하였다.ㅇ 이 해결방법은 로컬 개발환경에서 테스트를 위한 해결방법이다. 그래서 운영환경에서는 인증서 설치 과정을 수행해야 한다.  ㅁ 에러 상황# 통신 수행$ curl -X GET "localhost:9200/?pretty"# 에러 내용received plaintext http traffic on an https channel, closing connection Netty4HttpChannel# row logs{"@timestamp":"2024-07-28T21:48:38.081Z", "log.level": "WARN", "message":"receiv..

ㅁ 들어가며ㅇ 프로젝트 진행 중에 Elasticsearch에 비정규화 테이터를 저장하는 요건이 발생하여 개인적으로 Elasticsearch를 집에 설치해 보았다.ㅇ 이 글은 Docker로 Elasticsearch 설치 및 테스트하는 과정을 정리하였다.ㅇ 기본적으로 도커는 설치 되어 있어야 한다. ㅁ 관련 글ㅇ [kotlin] Spring Data Elasticsearch 샘플코드ㅇ [Elasticsearch] Elasticsearch + Kibana 설치하기 with Dockerㅇ [Elasticsearch] Docker로 Elasticsearch 설치 및 테스트하기ㅇ [Elasticsearch] Kibana Query Language 사용법 정리 ㅁ Elasticsearch 이미지 다운로드docker ..

ㅁ 개요 ㅇ Elasticsearch Data 노드의 높은 메모리 사용량을 분석하고, ㅇ "해결 방법을 함께 보면 좋은 사이트"를 참조하여 Elasticsearch 클러스터의 높은 메모리 사용률 문제를 분석방법을 정리하였다. ㅁ 함께 보면 좋은 사이트ㅇ Elasticsearch 블로그 - Elasticsearch 메모리 관리 및 문제 해결ㅇ AWS DOC - Amazon OpenSearch Service 클러스터의 높은 CPU 사용률 문제를 해결하려면 어떻게 해야 합니까?ㅇ 토스 - 대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기 ㅁ 와탭을 통한 지표 수집ㅇ whatap에서 수집된 컨테이너 리소스 정보이다.ㅇ Elasticsearch의 Data 노드에 할당된  메모리 10GB 중 9...

ㅁ 개요 ㅇ CloudWatch 볼륨 지표상에서 Elasticsearch Data Node 볼륨의 병목현상이 발견됨. ㅇ 병목현상의 원인 분석 및 해결 과정 정리 ㅁ 병목현상 확인 ㅇ data node의 볼륨 IO가 병목이 발생하여 IO가 100% 상황 발생하였다. ㅁ 원인분석 GET /_nodes/hot_threads?pretty ㅇ 키바나의 Dev Tools를 이용하여 부하가 발생하는 스래드를 찾았다. 100.0% [cpu=71.2%, other=28.8%] (500ms out of 500ms) cpu usage by thread 'elasticsearch[elasticsearch-data-0][write][T#1]' 5/10 snapshots sharing following 30 elements j..

ㅁ 개요 ㅇ Elasticsearch(이후 ES) Data 노드에서 볼륨 유휴시간이 갑자기 떨어지고, ES 내부 로그에서 rejected exception을 확인하였다. ㅇ rejected exception을 분석하고 ES의 thread pool의 개념을 정리하였다. ㅇ 참조 사이트는 여기 ㅁ ES Data-1의 볼륨 유휴시간 지표 ㅇ CloudWatch에 Volume 지표를 모니터링 중에 ES Data-1의 유휴시간에 특이사항을 발견하였다. ㅇ 키바나에서 클러스터 상태를 확인하니 yellow 상태였다. ㅇ 기존에 ES가 Volume에 병목이 종종 발생하는 터라 ES Pod 내부의 로그를 확인하였다. ㅁ ES 에러로그 {"type": "server", "timestamp": "2022-08-29T01:0..

ㅁ 관련 글 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란 ㅇ [Elasticsearch] EFK 설치(minikube)-1 ㅇ [Elasticsearch] EFK 설치(minikube)-2 ㅁ 개요 ㅇ 지난 시간에 [Elasticsearch] EFK 설치(minikube)-1 과정에서 이러지는 내용이다. ㅇ 소스는 여기에 있음. ㅁ kibana.yaml apiVersion: apps/v1 kind: Deployment metadata: name: kibana namespace: elastic labels: app: kibana spec: replicas: 1 selector: matchLabels: app: kibana template: metadat..