피터의 개발이야기

ㅁ 들어가며 Kafka는 실시간 데이터를 관리하는 만큼 모니터링은 필수 요소이다. kafka를 모니터링할 수 있는 도구들에 대해서 Overview of UI Tools for Monitoring and Management of Apache Kafka Clusters을 참조하여 정리를 하였다. 이 블로그에서는 다양한 Kafka 모니터링 툴들의 기능 및 UI 편의성을 비교해 주었는데, 무료에 관한 내용을 옮겨 적었다. ㅁ Apache Kafka 클러스터를 위한 상위 8가지 UI 모니터링 도구 ㅇ 블로그에 제시된 모니터링 Tool들의 비교 표이다. ㅇ Apache Kafka 클러스터 모니터링 도구를 빠르게 비교할 수 있다. ㅇ 2021년에 작성된 도표이기 때문에 업그레이드 상황에 따라 달라질 수 있다. ㅁ U..

ㅁ 들어가며  마이크로서비스의 핵심은 서비스 모듈화하고 이를 확장성 있게 관리하는데 있다. 모듈화된 서비스 간의 통신은 비동기 통신으로 이루어지며, 대량의 트래픽을 소화하기 위해 분산 시스템을 구축하게 된다. 대표적인 방법으로 마이크로서비스의 패턴인, EDA(Event Driven Architecture)패턴이 있다. EDA패턴의 대표적인 어플리케이션으로 Redis, RabbitMQ, Kafka이 있다. 이들의 역할은 서비스간의 데이터 전송의 버퍼 역할을 한다. EDA패턴의 대표적인 어플리케이션들은 크게 메시지 브로커와 이벤트 브로커로 구분되는다. 이번 글에서는 Kafka를 설명하며 메시지/ 이벤트 브로커의 차이를 알아보고, Kafka가 어떻게 높은 처리량, 빠른 응답 속도, 안정성을 유지하는지, 카프카..

ㅁ 들어가며 ㅇ [kafka] docker compose로 kafka cluster 구성 및 kafka-ui 모니터링 작성 후 Grafana를 이용한 모니터링 방법에 대해서 공부하였다. ㅇ Kafka Monitoring Stack for Docker Compose (Prometheus / Grafana)의 내용을 바탕으로 docker kafka 모니터링 환경을 세팅해 보았다. ㅇ 작업하면서 환경 세팅 트러블 슈팅은 [kafka] kafka 모니터링 방법 공부 (docker 컨테이너 생성, M1 칩 no specific platform 오류를 colima로 해결) 에 정리하다. ㅁ git clone $ git clone https://github.com/streamthoughts/kafka-monitori..

ㅁ 들어가며 ㅇ [kafka] kafka 모니터링 docker 환경 세팅을 하면서 트러블 슈팅한 부분을 정리하였다. ㅁ 작업 환경 ㅇ 맥북 미니 M1으로 platform은 linux/amd64/v8이다. ㅁ kafka single 실행 시 에러 발생 # kafka single 실행 시 에러 발생 $ docker-compose -f zk-kafka-single-node-stack.yml up -d WARN[0000] The "KAFKA_HEAP_OPTS" variable is not set. Defaulting to a blank string. [+] Running 2/7 ⠼ Network kafka-platform Created 0.4s ⠼ Container prometheus Starting 0.4s ..

ㅁ 들어가며 ㅇ kafka를 테스트하려고 docker로 kafka를 띄우는 과정을 정리하였다. ㅇ 가장 경량화된 구성으로 kafka와 분산저장소인 zookeeper, 모니터링을 위한 kafka-ui를 docker-compose로 구성하였다. # 개념 ㅇ Kafka-ui란? # 설치 ㅇ docker-compose.yml 작성 ㅇ docker-compose 실행 ㅇ 컨테이너 확인 ㅇ kafka-ui 접속 확인 ㅇ kafka 컨테이너 접속 # 토픽 관리 ㅇ 토픽 생성, 조회, 삭제 ㅇ Kafka UI - 토픽 생성 ㅇ Kafka UI - 토픽 상세조회 ㅇ Kafka UI - 토픽 삭제 # Message 발행 및 Consumer ㅇ Consumer 생성 및 Message 발생 ㅇ Kafka UI - Produc..