컨슈머 그룹(Consumer Group), 파티션(Partition), 컨슈머(Consumer) 요약토픽(Topic) → 여러 개의 파티션(Partition)하나의 토픽은 여러 개의 파티션으로 나눔각 파티션은 독립적으로 데이터를 저장하고 처리컨슈머 그룹(Consumer Group) → 여러 개의 컨슈머(Consumer)컨슈머 그룹은 하나 이상의 컨슈머로 구성됩니다.같은 컨슈머 그룹에 속한 컨슈머들은 서로 다른 파티션을 소비(consume)컨슈머 개수 ≤ 파티션 개수 이므로 컨슈머 수보다 파티션이 많아야 최적의 성능을 발휘할 수 있음파티션 ↔ 컨슈머 매핑하나의 파티션은 하나의 컨슈머에게만 할당(동시에 여러 컨슈머가 같은 파티션을 읽을 수 없음)한 컨슈머는 여러 개의 파티션을 담당할 수 있음.컨슈머 그룹을 ..

Kafka 정의 이벤트 스트리밍 플랫폼 Kafka 아키텍처 Kafka는 발행-구독(publish-subscribe) 모델을 기반으로 동작하며 크게 프로듀서, 컨슈머, 브로커로 구성 프로듀서는 메세지(이벤트)를 카프카에 넣고, 브로커는 메세지(이벤트)를 저장 (브로커는 일반적으로 3대이상 구성, 클러스터 형태), 컨슈머는 메세지(이벤트)를 읽는 역할 주키퍼는 카프카 클러스터를 관리하는 역할, 추후에는 컨플루언트에서 주키퍼와 연동하지 않도록 구성할 예정이라고함 Kafka 구성요소 Topic / Partition / Offset 종류 Topic 메세지를 구분하는 단위 즉 특정 스트리밍 데이터임 (예시로 파일시스템 폴더라고 생각하면됨) 토픽은 이름으로 구분 한개의 토픽은 한개 이상의 파티션으로 구성됨 Parti..