Kafka
-
Kafka란?DEV 2020. 8. 27. 21:37
메시지 큐의 일종으로 분산형 스트리밍 플랫폼 메시지를 메모리에 저장하는 다른 메시지 큐와 달리 메시지를 파일 시스템에 저장하여 메시지 유실을 줄일 수 있음 다른 메시지 큐는 broker가 consumer에게 메시지를 push하는 방식이지만 Kafka는 consumer가 broker로부터 직접 메시지를 가지고 가는 pull 방식으로 동작하기 때문에 consumer는 성능 최적화 가능 주요 개념 Topic 메시지는 topic으로 분류됨 Partition topic이 나눠지는 단위 메시지를 병렬로 처리하기위해 topic을 여러개의 partition으로 나눔 Log partition 내의 하나의 메시지 Offset partition의 각 메시지를 식별할 수 있는 유니크한 값 일종의 인덱스 Producer 메시지..