Cloud Data Streaming Service 개념

Cloud Data Streaming Service를 이용하기 전에 알아두면 좋을 몇 가지 개념을 설명합니다.

Apache Kafka

오픈 소스 Apache Kafka는 실시간 스트리밍 데이터 파이프라인 및 애플리케이션을 빌드할 수 있는 오픈 소스 플랫폼입니다. 네이버 클라우드 플랫폼의 Cloud Data Streaming Service를 활용하면 몇 분 만에 Kafka 클러스터를 구축할 수 있으며 별도의 소프트웨어를 설치하거나 유지 관리할 필요가 없습니다.
네이버 클라우드 플랫폼에서는 Apache Kafka 클러스터 관리 도구인 오픈소스 Cluster Manager for Apache Kafka(CMAK)를 제공합니다. Apache 2.0 라이선스인 Apache Kafka를 설치하고 설정하여 클러스터 형태로 제공합니다.

CMAK

CMAK(Cluster Manager for Apache Kafka)는 클러스터, 토픽 등을 생성 및 변경하고 Consumer group을 확인하는 등의 Apache Kafka 클러스터 관리 기능을 제공하는 오픈 소스 플랫폼입니다.

Cloud Data Streaming Service 구성 요소

Cloud Data Streaming Service 클러스터는 1대의 매니저 노드와 3대 이상의 Broker 노드로 구성되며 최소 4대의 서버로 구성됩니다. Broker 노드의 수는 필요한 만큼 늘릴 수 있습니다.

• 매니저 노드
  매니저 노드는 CMAK를 통해 Apache Kafka 클러스터를 관리합니다. Topic 생성 및 삭제, 파티션 추가 등 Kafka 운영 관리에 편의를 제공합니다. Public Domain을 통해 CMAK에 접속할 수 있습니다.

• Broker 노드
  Broker 노드는 실제 데이터가 저장되는 서버입니다. Broker 노드에 접근하기 위해서는 Cloud Data Streaming Service 클러스터를 생성한 VPC와 동일한 VPC에 사용자의 VM이 있어야 합니다.

• Topic
  Producer와 Consumer가 Kafka로 주고 받은 메시지를 구분하기 위한 단위입니다.

• Partition
  대용량의 메시지를 빠르게 처리할 수 있도록 Topic을 나눈 것을 의미합니다.