Cluster 생성 및 관리

Cluster 화면

Cluster 메뉴의 기본적인 설명은 다음과 같습니다.

클러스터 생성

1. 네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
2. Services > Big Data & Analytics > Cloud Data Streaming Service 메뉴를 차례대로 클릭해 주십시오.
3. Cloud Data Streaming Service 메뉴에서 [Cluster 생성] 버튼을 클릭해 주십시오.
4. 클러스터 설정 정보를 입력한 후 [다음] 버튼을 클릭해 주십시오.
   
   • 클러스터 이름: 클러스터 이름 입력
   • Application 버전: Kafka 버전, CMAK 버전 선택
   • ACG 설정: cdss-클러스터 코드로 ACG 자동 생성
   • Config Group 설정: Cluster에 적용할 Config Group 선택. Config Group을 생성하는 방법은 Config Group 생성 및 관리 참고
   • Kafka 로그 수집: Kafka 로그 수집 안내 문구. Kafka 로그는 Cloud Log Analytics에서 확인 가능
   • Kafka Broker Port: Broker와 통신하기 위한 포트. 9092으로 자동 설정되며 변경 불가
   • Kafka Broker TLS Port: Broker와의 통신을 암호화할 수 있는 포트. 9093으로 자동 설정되며 변경 불가
   • Zookeeper Port: Zookeeper Client와 통신하기 위한 포트. 2181으로 자동 설정되며 변경 불가
   • CMAK Port: 9000으로 자동 설정되며 변경 불가
   • CMAK 접속 권한: CMAK에 접속하기 위한 ID와 비밀번호 입력. ID는 변경 불가
5. 노드 설정 단계에서 노드 정보를 입력한 후 [다음] 버튼을 클릭해 주십시오
   
   • OS 타입: 사용할 OS 타입 선택
   • VPC: 사용할 VPC 선택
   • 매니저 노드 Subnet: 매니저 노드 서버의 Subnet 선택. Public Subnet 중에 선택 가능
   • 매니저 노드 개수: 매니저 노드 서버 개수. 기본값 1이 자동 설정되며 변경 불가
   • 매니저 노드 서버 타입: 선택 가능한 서버 타입
   • Broker 노드 Subnet: Broker 노드의 Subnet 선택. Private Subnet 중에 선택 가능
   • Broker 노드 개수: Broker 노드 서버 개수. 기본값은 3대, 최소 3대부터 최대 10대까지 생성 가능
   • Broker 노드 서버 타입: 선택 가능한 서버 타입
   • Broker 노드 스토리지 용량: Broker 노드 스토리지 용량 설정. OS 스토리지가 아닌 별도의 Block Storage를 사용하며, Block Storage는 Broker 노드 당 최대 2,000 GB까지 사용 가능
6. 입력한 정보가 맞는지 확인한 후 [Cluster 생성] 버튼을 클릭해 주십시오.
   • Cluster 생성이 완료될 때까지 수 분에서 수십 분 정도 소요될 수 있습니다.

클러스터 관리

클러스터에 Broker 노드를 추가하는 방법과 노드 스펙을 변경하는 방법, 그리고 CMAK에 접속하기 위해 Broker 노드의 Public Endpoint를 변경하는 방법, CMAK 비밀번호를 변경하는 방법을 설명합니다.

Broker 노드 추가

Cluster 운영 중에 Broker 노드가 추가로 필요한 경우, Broker 노드를 추가할 수 있습니다. 추가된 Broker 노드의 개수를 줄이는 것은 불가능하며 신규 Broker 노드를 추가하는 것만 가능합니다.

Broker 노드를 추가하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service 메뉴를 차례대로 클릭해 주십시오.
2. Broker 노드를 추가할 Cluster의 체크 박스를 클릭한 후, 클러스터 관리 > Broker 노드 추가를 클릭해 주십시오.
3. Broker 노드 추가 창이 나타나면 추가할 노드 수를 입력해 주십시오.
   • 추가할 노드 수를 1로 선택할 경우, 기존 3대에 1대의 Broker 노드가 추가됩니다.
   • 한 번에 최대 10대까지 추가할 수 있습니다.
     
4. [확인] 버튼을 클릭해 주십시오.
   • Broker 노드 증설이 시작되며, Cluster의 서버 상태가 변경중으로 표시됩니다.
5. Cluster의 서버 상태가 운영중으로 변경되었는지 확인해 주십시오.

노드 스펙 변경

Cluster 운영 중에 Manager 또는 Broker 노드의 스펙 변경이 필요한 경우, 노드의 스펙을 변경할 수 있습니다. 현재 사용 중인 CPU와 Memory 스펙보다 낮은 스펙으로의 변경은 불가능하며 더 높은 스펙으로 변경하는 것만 가능합니다.

노드의 스펙을 변경하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service 메뉴를 차례대로 클릭해 주십시오.
2. 노드 스펙 변경을 진행할 Cluster의 체크 박스를 클릭한 후, 클러스터 관리 > 노드 스펙 변경을 클릭해 주십시오.
3. 노드 스펙 변경 창이 나타나면 변경할 노드의 스펙을 선택해 주십시오.
   • Manager, Broker 노드의 스펙을 각각 선택 할 수 있습니다.
   • 현재 사용 중인 스펙보다 낮은 스펙은 선택할 수 없습니다.
4. [확인] 버튼을 클릭해 주십시오.
   • 클릭 후 노드 스펙 변경이 시작되며, Cluster의 서버 상태가 변경중으로 표시됩니다.
   • 노드 스펙 변경이 완료 되면 Cluster의 서버 상태가 운영중으로 표시됩니다.

Broker 노드 Public Endpoint 설정 변경

Broker 노드의 설정 파일에 Public Endpoint 전용 listener, advertised listener를 추가할 수 있습니다. Broker 노드 Public Endpoint 설정을 변경하기 전에 Load Balancer 설정을 참조하여 Load Balancer 설정을 완료해야 합니다.

Broker 노드의 Public Endpoint 설정을 변경하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster 메뉴를 차례대로 클릭해 주십시오.
2. Broker 노드의 Public Endpoint 설정을 변경할 Cluster의 체크 박스를 클릭한 후, 클러스터 관리 > Broker 노드 Public Endpoint 설정 변경을 클릭해 주십시오.
   • Broker 노드의 Public Endpoint로 설정할 수 있는 Load Balancer 목록이 나타납니다.
3. Load Balancer를 선택해 주십시오.
   
   • Network 타입, Public IP를 사용 중인 Load Balancer만 선택할 수 있습니다.
   • 다른 클러스터에서 사용 중인 Load Balancer는 선택할 수 없습니다.
4. [확인] 버튼을 클릭해 주십시오.

CMAK 접속

1. 바로가기 버튼을 통해 CMAK에 접속할 수 있습니다.

• CMAK 접속 버튼을 클릭하기 위해서는 CMAK 접속 도메인 설정 변경을 통해 Public 도메인을 활성화해야 합니다.

CMAK 접속 패스워드 초기화

CMAK 접속 비밀번호를 잊어버린 경우, 비밀번호를 변경할 수 있습니다.
CMAK 접속 비밀번호를 변경하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster 메뉴를 차례대로 클릭해 주십시오.
2. 클러스터 관리 > CMAK 접속 패스워드 초기화를 클릭해 주십시오.
3. 변경할 비밀번호를 입력한 후 [확인] 버튼을 클릭해 주십시오.
   • 변경한 비밀번호가 적용되기까지 수 분가량 소요될 수 있습니다.

CMAK 접속 도메인 설정 변경

CMAK 접속하기 전에 CMAK 서버에 접속할 수 있는 Public 도메인을 활성화 상태로 변경해야 합니다.
CMAK 접속 도메인 설정을 변경하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster 메뉴를 차례대로 클릭해 주십시오.
2. 클러스터 관리 > CMAK 접속 도메인 설정 변경을 클릭해 주십시오.
3. 팝업 창이 나타나면 활성화, 비활성화 문구를 확인한 후 [확인] 버튼을 클릭해 주십시오.
   
   • Public 도메인이 비활성화 상태일 경우, Public 도메인을 활성화할 수 있습니다.
   • Public 도메인이 활성화 상태일 경우, Public 도메인을 비활성화 할 수 있습니다. 외부에서의 CMAK 접속이 차단됩니다.

클러스터 재시작

클러스터 상태에 문제가 발생할 경우 CMAK, Kafka, Zookeeper를 재시작합니다.

모든 서비스 재시작

Kafka, Zookeeper, CMAK를 한 번에 재시작하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster 메뉴를 차례대로 클릭해 주십시오.
2. 클러스터 재시작 > 모든 서비스 재시작을 클릭해 주십시오.

Kafka/Zookeeper 재시작

Kafka와 Zookeeper를 재시작하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster 메뉴를 차례대로 클릭해 주십시오.
2. 클러스터 재시작 > Kafka & Zookeeper 재시작을 클릭해 주십시오.

노드별 Kafka 재시작

노드별 Kafka를 재시작하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster 메뉴를 차례대로 클릭해 주십시오.
2. 클러스터 재시작 > 노드별 Kafka 재시작을 클릭해 주십시오
3. Kafka를 재시작할 노드의 체크 박스를 클릭한 후 [확인] 버튼을 클릭해 주십시오.
   
   • 선택한 노드의 Kafka가 재시작됩니다.

CMAK 재시작

CMAK를 재시작하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster 메뉴를 차례대로 클릭해 주십시오.
2. 클러스터 재시작 > CMAK 재시작을 클릭해 주십시오

Load Balancer 설정 및 ACG 설정

Broker 노드의 Public Endpoint로 설정할 수 있는 Load Balancer를 생성하고 설정하는 방법을 설명합니다.

Target Group 생성

Target Group을 생성하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service 메뉴를 차례대로 클릭해 주십시오.
2. 클러스터 상세 정보에서 Broker 노드 정보의 [상세 보기] 버튼을 클릭해 주십시오.
3. Broker 노드 정보 창이 나타나면 Public Endpoint PlainText Listener Port의 정보를 확인해 주십시오.
   • 각 Broker 노드와 대응되는 Port를 확인합니다.
   • 암호화 통신을 이용할 경우, Public Endpoint TLS Listener Port 정보를 확인합니다.
     
4. 네이버 클라우드 플랫폼 콘솔에서 Services > Networking > Load Balancer > Target Group 메뉴를 차례대로 클릭해 주십시오.
5. Target Group 생성 버튼을 클릭해 주십시오.
6. Target Group 정보를 입력한 후 [다음] 버튼을 클릭해 주십시오.
   
   • Target Group 이름: Target Group 이름 입력
   • Target Group 유형: Target Group 유형 선택 VPC Server 선택
   • VPC: Cluster를 생성한 VPC와 동일한 VPC 선택
   • 프로토콜: TCP 프로토콜 선택
   • 포트: 3번에서 확인한 Broker 노드와 대응되는 Port 중 하나 입력
     • 각 Broker 노드와 대응되는 Port로 생성한 Target Group이 필요합니다.
     • Broker 노드가 3개인 경우, 총 3개의 Target Group이 필요합니다.
7. Health Check 설정 정보를 입력한 후 [다음] 버튼을 클릭해 주십시오.
   
   • 프로토콜: TCP 프로토콜 선택
   • 포트: 이전 단계에서 입력한 Port 입력
8. Tager Group에 적용할 Target을 선택한 후 > 버튼을 클릭해 주십시오.
   
   • 이전 단계에서 입력한 Port에 대응하는 Broker 노드를 선택합니다.
   • Broker 노드와 대응되는 Port는 Broker 노드 정보의 [상세 보기] 버튼을 클릭하여 확인할 수 있습니다.
9. [다음] 버튼을 클릭해 주십시오.
10. 설정한 정보를 확인한 후 [Target Group 생성] 버튼을 클릭해 주십시오.
11. 지금까지의 과정을 반복하여 Broker 노드의 개수만큼 Target Group을 생성해 주십시오.

Load Balancer 생성

Load Balancer를 생성하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Networking > Load Balancer > Load Balancer 메뉴를 차례대로 클릭해 주십시오.
2. [로드밸런서 생성] > [네트워크 로드밸런서 생성] 버튼을 클릭해 주십시오.
   • 다른 타입의 로드밸런서를 생성할 경우, Cloud Data Streaming Service에 노출되지 않습니다.
3. 로드밸런서 생성 정보를 입력한 후 [다음] 버튼을 클릭해 주십시오.
   
   • 로드밸런서 이름: 로드밸런서 이름 입력
   • Network: Public IP 선택
   • 부하 처리 성능: 부하 처리 성능에 따른 Load Balancer의 크기 선택
   • 대상 VPC: Cloud Data Streaming Service Cluster 생성 시 선택한 VPC와 동일한 VPC 선택
   • 서브넷 선택: Load Balancer 전용 Subnet 선택
4. 리스터 설정 항목에서 Broker 노드에 대응되는 Port 중 하나를 입력한 후 [추가] 버튼을 클릭해 주십시오.
   • 나머지 Port는 Load Balancer 생성을 완료한 후 리스너 추가 기능을 이용하여 추가합니다.
     
5. [다음] 버튼을 클릭해 주십시오.
6. 리스너 설정 단계에서 등록한 Load Balancer 포트와 대응되는 Target Group을 선택한 후 [다음] 버튼을 클릭해 주십시오.
   
7. 생성된 정보가 맞는지 확인한 후 [로드 밸런서 생성] 버튼을 클릭해 주십시오.

Target Group 리스너 설정

남은 Target Group에 대한 리스너 설정을 완료해야 합니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Networking > Load Balancer > Load Balancer 메뉴를 차례대로 클릭해 주십시오.
2. 리스너 설정을 변경할 Load Balancer의 체크 박스를 클릭한 후 [리스너 설정 변경] 버튼을 클릭해 주십시오.
3. [리스너 추가] 버튼을 클릭해 주십시오
   
4. 리스너 추가 화면이 나타나면 정보를 입력해 주십시오.
   
   • 프로토콜: TCP 선택
   • 포트: Broker 노드에 대응되는 Port 입력
   • Target Group: Port에 대응하는 Target Group 선택
5. [확인] 버튼을 클릭해 주십시오. 리스너가 추가됩니다.
6. Target Group 생성 단계에서 생성한 모든 Target Group에 대하여 리스너를 등록해 주십시오.

ACG 설정

Load Balancer와 외부에서 Broker 노드에 접근할 수 있도록 IP에 대한 ACG 규칙을 설정해야 합니다.

ACG 규칙을 설정하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service > Cluster 메뉴를 차례대로 클릭해 주십시오.
2. ACG 설정을 변경할 클러스터의 상세 정보 영역에서 Broker 노드 ACG의 이미지를 클릭해 주십시오.
   • ACG 설정 화면으로 이동합니다.
     
3. ACG 목록에서 Broker 노드 ACG를 선택한 후 [ACG 설정] 버튼을 클릭해 주십시오.
   • ACG 규칙 설정 창이 나타납니다.
     
4. Load Balancer와 외부에서 Broker 노드에 접근하기 위한 IP에 대한 ACG Rule을 각각 생성해 주십시오.
   
   • 프로토콜: TCP 선택
   • 접근 소스: Broker 노드에 접근이 필요한 대역의 IP 입력
     • Load Balancer에서 접근하는 것을 허용하기 위해 Load Balancer 전용 Subnet의 IP 주소 범위 입력
     • [myip]: 자신의 공인 IP 주소를 확인하고 해당 IP 주소를 접근 소스에 등록 가능
   • 허용 포트: 허용할 포트 입력. 특정 포트 또는 범위 입력 가능
5. 추가한 규칙을 확인한 후 [적용] 버튼을 클릭해 주십시오.
   • 해당 규칙이 ACG에 적용됩니다.

클러스터 삭제

클러스터를 삭제하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Data Streaming Service 메뉴를 차례대로 클릭해 주십시오.
2. Cluster 메뉴에서 삭제할 클러스터의 체크 박스를 클릭한 후 [삭제] 버튼을 클릭해 주십시오.
3. 클러스터 삭제 창이 나타나면 [확인] 버튼을 클릭해 주십시오.