시작 배경
미국의 대표적인 비즈니스 인맥 소셜네트워크 서비스인 링크드인에서 파편화된 데이터 파이프라인의 문제를 해결하기 위해 만들짐
시스템이 거대해짐에 따라 데이터를 전달해야 할 노드의 수가 늘어났고, 연결하는 시스템 간의 복잡도가 매우 증가
→ 트래픽이 증가함에 따라 장애 상황 노출 증가
→ 재처리, 데이터 유실 발생 가능성 증가
→ Kafka가 좋은 대안을 제공함
Backend service에서의 Kafka
MSA 도입 → 연결해야 할 서비스, 처리해야 할 트래픽 증가 → 장애에 대한 효과적인 대안 필요
→ backend engineering에서도 중요해짐!
Kafka 파트 전체 과정 소개
강의 소스코드 github
강의에 사용하는 도구