Kafka 브로커-토픽 등 서버구성 상세설명

cluster 구성과 data replication을 통해 특정 노드의 시스템 장애 상황에서도 서비스 영향을 최소화하기 위한 아키텍쳐를 가지고 있어야 한다.

<aside> ✅ topic이란?

하나의 주제 즉, 데이터 또는 메시지의 종류를 구분하기 위한 kafka의 기본 단위

RDBMS의 테이블과 같은 것으로 보면 됨

</aside>

• topic이 동일하게 설정되어 있음

• broker에는 많은 topic이 있을 수 있음

  • producer가 topic을 지정하여 메시지를 발행하면 broker는 해당 topic의 하위 지정소인 partition에 메시지를 지정하게 됨
  • kafka는 OS의 파일 시스템 자체를 저장소로 활용하기 때문에 topic을 파일 시스템의 폴더와 같다고 보면 됨

• server.properties 파일에서 저장되는 실제 파일의 위치 확인 가능

  

• 해당 디렉토리에서 topic과 partition명으로 만들어진 디렉토리 확인 가능

  

토픽 이름 설정

• 메시지를 발행하는 ownership을 가지고 있는 팀이나 도메인의 이름, 이벤트 종류, 버전 등을 사용
• 문자열 만으로도 그 의미를 유추할 수 있게 하는 것이 좋음
• 249자 미만으로 생성
• 영어대소문자, 0~9숫자, 마침표, 언더바, 하이픈 조합으로 생성가능 … 등

partition의 replication factor 설정