[Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란

 

ㅁ 관련 글

 ㅇ [Elasticsearch] EFK(Elasticsearch, Fluentd, kibana)란
 ㅇ [Elasticsearch] EFK 설치(minikube)-1

 ㅇ [Elasticsearch] EFK 설치(minikube)-2

ㅁ 개요

 AWS Kubernetes환경에서 EFK(Elasticsearch, Fluentd, kibana) 구축하는 과정을 정리하였다.

 

ㅁ EFK란?

 EFK란 Elasticsearch + Fluentd + Kibana의 단순말이다.  쿠버네티스환경에서 수많은 컨테이너의 로그를 수집하여 통합적으로 로그를 UI로 확인할 수 있는 인터페이스이다. 오케스트레이션 환경에서 파드가 생성되고 삭제되는 과정에서 로그를 관리하기란 어려운 일이다. 이를 해결하기 위해 쿠버네티스에서 EFK는 필수적이다.

 구체적으로 EFK에서 Elasticsearch, Fluentd, Kibana는 다음과 같은 역할을 수행한다.

 

   1) Fluentd : 로그를 수집해서 Elasticsearch로 전달

   2) Elasticsearch : Fluentd로부터 받은 데이터를 검색 및 분석하여 저장

   3) Kibana : Elasticsearch의 빠른 검색능력을 통해 데이터 시각화

 

ㅁ Fluentd란?

 

 

 

  Fluentd란 오픈소스 데이터(로그) 수집기이다. 보통 로그를 수집하는데 사용하지만, 다양한 데이터 소스(HTTP, TCP)로부터 데이터를 받아올 수 있다. Fluentd로 전달된 데이터는 tag, time, record(JSON) 로 구성된 이벤트로 처리되며, 원하는 형태로 가공되어 다양한 목적지(ElasticSearch, S3 등)로 전달될 수 있으며 Fail-Over를 위한 HA(High Availability) 구성도 가능하다. HA 구성을 뺀 더 적은 메모리를 사용하는 경량버전인 Fluent-Bit와 함께 사용할 수 있다. 

 

ㅁ Elasticsearch란?

 

 

 

  Elasticsearch는 아파치 루씬 기반의 확장성이 좋은 JAVA 오픈소스 분산 검색엔진이다. 많은 양의 데이터를 보관하고 실시간으로 저장, 검색, 분석할 수 있게 해준다.

# Elasticsearch의 특징

1) 테이블과 스키마 대신에 문서 형식(JSON)으로 저장
2) 쿼리 속도가 매우 빠르며 확장성이 뛰어남
3) 에러에 대한 높은 탄성을 가지며 데이터 타입에 유연함
4) 빅데이터를 처리할 때 매우 유리함

 

ㅁ Kibana란?

 

 Kibana는 Elasticsearch에서 색인된 데이터를 검색하고 시각화하는 오픈소스 도구이다. Elasticsearch의 데이터(로그)를 차트와 그래프 등을 활용하여 대쉬보드 형태로 시각화 할 수 있다. 

 

ㅁ 함께 보면 좋은 사이트

Kibana는 무엇인가요?

 

What is Fluentd? | Fluentd

Elasticsearch란?

AWS 쿠버네티스에 EFK(Elasticsearch, Fluentd, Kibana) STACK 구축하기

[AWS] EFK 구축