피터의 개발이야기

ㅁ 들어가며 Kafka는 실시간 데이터를 관리하는 만큼 모니터링은 필수 요소이다. kafka를 모니터링할 수 있는 도구들에 대해서 Overview of UI Tools for Monitoring and Management of Apache Kafka Clusters을 참조하여 정리를 하였다. 이 블로그에서는 다양한 Kafka 모니터링 툴들의 기능 및 UI 편의성을 비교해 주었는데, 무료에 관한 내용을 옮겨 적었다. ㅁ Apache Kafka 클러스터를 위한 상위 8가지 UI 모니터링 도구 ㅇ 블로그에 제시된 모니터링 Tool들의 비교 표이다. ㅇ Apache Kafka 클러스터 모니터링 도구를 빠르게 비교할 수 있다. ㅇ 2021년에 작성된 도표이기 때문에 업그레이드 상황에 따라 달라질 수 있다. ㅁ U..

보호되어 있는 글입니다.

ㅁ 들어가며 마이크로서비스를 구축하면서 서비스 간의 통신을 비동기로 원활하게 처리하고, 확장성이 보장되는 아키텍처를 고민하게 된다. 트래픽을 소화하기 위한 아키텍쳐 구성도 중요하지만, 어떻게 분산 시스템에서 데이터를 효율적으로 전달하는 방법을 찾는 것도 중요하다. 그 방법으로 마이크로서비스의 패턴 중 EDA(Event Driven Architecture)패턴 있는데, 서비스간의 데이터 전송의 버퍼 역할을 하는 Redis, RabbitMQ, Kafka라는 대표적인 어플리케이션이 있다. 이들은 크게 메시지 브로커와 이벤트 브로커로 구분되는데, 이번 글에서는 카프카를 설명하며 메시지/ 이벤트 브로커의 차이를 알아야 한다. Kafka는 높은 처리량, 빠른 응답 속도, 안정성 때문에 많은 기업들이 도입하고 있다...

ㅁ 들어가며 ㅇ [kafka] docker compose로 kafka cluster 구성 및 kafka-ui 모니터링 작성 후 Grafana를 이용한 모니터링 방법에 대해서 공부하였다. ㅇ Kafka Monitoring Stack for Docker Compose (Prometheus / Grafana)의 내용을 바탕으로 docker kafka 모니터링 환경을 세팅해 보았다. ㅇ 작업하면서 환경 세팅 트러블 슈팅은 [kafka] kafka 모니터링 방법 공부 (docker 컨테이너 생성, M1 칩 no specific platform 오류를 colima로 해결) 에 정리하다. ㅁ git clone $ git clone https://github.com/streamthoughts/kafka-monitori..

ㅁ 들어가며 ㅇ [kafka] kafka 모니터링 docker 환경 세팅을 하면서 트러블 슈팅한 부분을 정리하였다. ㅁ 작업 환경 ㅇ 맥북 미니 M1으로 platform은 linux/amd64/v8이다. ㅁ kafka single 실행 시 에러 발생 # kafka single 실행 시 에러 발생 $ docker-compose -f zk-kafka-single-node-stack.yml up -d WARN[0000] The "KAFKA_HEAP_OPTS" variable is not set. Defaulting to a blank string. [+] Running 2/7 ⠼ Network kafka-platform Created 0.4s ⠼ Container prometheus Starting 0.4s ..

ㅁ 들어가며 ㅇ kafka를 테스트하려고 docker로 kafka를 띄우는 과정을 정리하였다. ㅇ 가장 경량화된 구성으로 kafka와 분산저장소인 zookeeper, 모니터링을 위한 kafka-ui를 docker-compose로 구성하였다. # 개념 ㅇ Kafka-ui란? # 설치 ㅇ docker-compose.yml 작성 ㅇ docker-compose 실행 ㅇ 컨테이너 확인 ㅇ kafka-ui 접속 확인 ㅇ kafka 컨테이너 접속 # 토픽 관리 ㅇ 토픽 생성, 조회, 삭제 ㅇ Kafka UI - 토픽 생성 ㅇ Kafka UI - 토픽 상세조회 ㅇ Kafka UI - 토픽 삭제 # Message 발행 및 Consumer ㅇ Consumer 생성 및 Message 발생 ㅇ Kafka UI - Produc..