브로커 및 파티션 추가하기

Partition 추가

• partition 목록 확인

  bin/kafka-topics.sh --list --bootstrap-server localhost:9092

• 해당 topic의 partition 상태 확인

  bin/kafka-topics.sh --describe --topic <topic-name> --bootstrap-server localhost:9092

• partition 증가

  bin/kafka-topics.sh --alter --topic <topic-name> --partitions 4 --bootstrap-server localhost:9092

운영중인 Kafka Topic 이라면 매우 신중하게 결정해야함

• 서비스 운영중인 Topic에 Partition 추가는 새로운 partition 으로 메세지 rebalance 가 되는 과정에서 시스템 성능에 영향을 끼칠 수 있음. 꼭 필요하다면, 서비스 임팩트가 상대적으로 작은 시간을 선택해야 함
• 실제 해당 Topic 의 사용 사례를 고려해서, 필요시 테스트 서버 에서 테스트를 해보고 실행해야함
• 모든 메세지를 RoundRobin 방식으로 처리하고 있다면, 데이터 규모에 따른 지연시간 이후 곧 정상처리가 시작될 수 있지만, 특정 Key 에 기반한 커스텀 Patitioner 에 기반한 Consumer 를 운영중이라면 메세지의 유실 가능성도 있으므로, 차라리 신규 Topic 을 생성하여 Migration 전략을 짜는 것이 더 나은 선택인 경우가 많음
• 따라서, topic 의 최초 생성시, 데이터 확장 규모를 고려해서 partition 개수를 여유있게 설정

Broker 추가

• 신규 Broker 의 server3.properties 파일 수정

  broker.id=3
  listeners=PLAINTEXT://localhost:9095
  log.dirs=/tmp/kafka-logs3
  

• 신규 Broker 실행

  bin/kafka-server-start.sh config/server3.properties &

• broker가 새로 추가되어도 기존 broker의 partition들이 새로운 broker로 자동으로 분산 재배치되진 않아서, 운영자가 수동으로 재배치해줘야 한다.

  • Partition 재배치를 할 Topic 에 대한 json 파일 생성 ex) reassign-topic.json 파일 작성

    vi reassign-topic.json
    —--------------------------------------------------------------------------
    {"topics":[{"topic": "topic5"}],"version":1}
    

  • 위에서 생성한 reassign-topic.json 파일을 이용하여 최종 Target 구성 json 구조 확인

    bin/**kafka-reassign-partitions.sh** **--generate** --topics-to-move-json-file reassign-topics.json --broker-list "1,2,3" --bootstrap-server localhost:9092

  • 추가된 Broker 를 고려해서 균등한 재배치 제안 json 데이터가 생성됨. Proposed~~ 파일을

    Current partition replica assignment
    {"version":1,"partitions":[{"topic":"topic5","partition":0,"replicas":[0],
    "log_dirs":["any"]},{"topic":"topic5","partition":1,"replicas":[0],
    "log_dirs":["any"]},{"topic":"topic5","partition":2,"replicas":[0],
    "log_dirs":["any"]},{"topic":"topic5","partition":3,"replicas":[3],
    "log_dirs":["any"]}]}
    
    Proposed partition reassignment configuration
    {"version":1,"partitions":[{"topic":"topic5","partition":0,"replicas":[2],
    "log_dirs":["any"]},{"topic":"topic5","partition":1,"replicas":[3],
    "log_dirs":["any"]},{"topic":"topic5","partition":2,"replicas":[1],
    "log_dirs":["any"]},{"topic":"topic5","partition":3,"replicas":[2],
    "log_dirs":["any"]}]}
    

    현재 구조는 하나의 broker에 partition이 몰려 있는데, 제안된 구조에서는 고르게 분포되어 있음

  • Partition 재배치 실행

    bin/**kafka-reassign-partitions.sh** **--execute** --reassignment-json-file new_partition.json --bootstrap-server localhost:9092

  • Topic 의 Partition 재배치 상태 확인

    bin/kafka-topics.sh --describe --topic topic5 --bootstrap-server localhost:9092

    Topic: topic5 TopicId: V3BjGO7YS8KIe5xuSyGIdg PartitionCount: 4
    ReplicationFactor: 1 Configs: segment.bytes=1073741824
    	Topic: topic5 Partition: 0 Leader: 2 Replicas: 2 Isr: 2
    	Topic: topic5 Partition: 1 Leader: 3 Replicas: 3 Isr: 3
    	Topic: topic5 Partition: 2 Leader: 1 Replicas: 1 Isr: 1
    	Topic: topic5 Partition: 3 Leader: 2 Replicas: 2 Isr: 2
    

운영중인 Kafka Cluster 라면

• 처리중인 데이터 규모에 따라 Partition 재배치에 따른 네트워크 사용량과 CPU 사용량 증가에 따른 임팩트가 있을 수 있음 (replica를 만들고 leader partition을 옮기는 작업을 하기 때문)
• 따라서, 상대적으로 사용량이 작은 시간을 이용하는 것이 바람직
• 상황에 따라 임시로 retention 을 작게 설정하거나, topic 을 나눠서 실행해서 부하를 감소시키는 방안을 고려할 수 있음