Cloud Hadoop 시작

인쇄
공유
PDF

기사 요약

이 요약이 도움이 되었나요?

의견을 보내 주셔서 감사합니다.

Cloud Hadoop에서 제공하는 Cloud Hadoop의 사양을 확인하고 전체 시나리오를 충분히 숙지했다면 Cloud Hadoop 이용을 시작하기 위한 준비를 완료한 것입니다. 이제 다음으로 가장 먼저 할 일은 Cloud Hadoop 클러스터를 생성하는 것입니다. Cloud Hadoop 클러스터 생성 및 관리는 네이버 클라우드 플랫폼 콘솔에서 진행합니다.
시작 가이드를 통해 학습하게 되는 내용을 정리하면 다음과 같습니다.

사전 준비
클러스터 생성
클러스터 삭제

사전 작업

Object Storage 생성
클러스터를 생성하기 전에 데이터를 저장하고 검색하기 위한 Object Storage 버킷이 생성되어 있어야 합니다. 자세한 내용은 Object Storage 가이드를 참고해 주십시오.
VPC, Subnet 생성
네이버 클라우드 플랫폼 콘솔의 Networking > VPC에서 VPC, Subnet을 생성합니다. 자세한 설명은 VPC 사용 가이드를 참고해 주십시오. 클러스터 개수와 상관없이 VPC는 최소 1개가 필요합니다. 여러 개의 클러스터를 같은 VPC에 두고 사용할 수 있습니다.
Cloud Hadoop 생성 시 Public Subnet과 Private Subnet을 노드 용도에 맞게 생성하고 사용할 수 있습니다. VPC 환경에서 엣지 노드와 마스터 노드는 Public Subnet 또는 Private Subnet으로 설정할 수 있으며, 작업자 노드는 Private Subnet으로만 설정할 수 있습니다. Cloud Hadoop 생성 시 엣지 노드의 개수는 1개, 마스터 노드의 개수는 2개로 고정됩니다. 이 가이드에서는 Private Subnet 1개, Public Subnet 2개를 생성했습니다.

VPC	SUBNET 1 (PRIVATE)	SUBNET 2 (PUBLIC)	SUBNET 3 (PUBLIC)
172.16.0.0/16	172.16.0.0/24	172.16.1.0/28	172.16.2.0/28

노드 타입 선택
예상 사용량을 고려하여 노드 타입을 미리 선택해 주십시오.

클러스터 생성

네이버 클라우드 플랫폼의 Cloud Hadoop 서비스를 사용하려면 클러스터를 먼저 생성해야 합니다.

Cloud Hadoop 클러스터를 생성하는 방법은 다음과 같습니다.

네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
Platform 메뉴의 VPC을 클릭해 VPC 환경으로 변경해 주십시오.
Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
[클러스터 생성] 버튼을 클릭해 주십시오.
클러스터 생성 화면이 나타나면 다음 단계를 차례대로 진행해 주십시오.

1. 클러스터 설정

클러스터 설정 정보를 지정한 후 [다음] 버튼을 클릭해 주십시오.

클러스터 버전: 현재 Cloud Hadoop 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0, 2.1 버전을 제공 중입니다. 클러스터 버전에 관한 자세한 내용은 Cloud Hadoop 릴리스 노트 참고하세요.
클러스터 타입: 클러스터 타입은 현재 Hadoop, Presto, HBase, Spark로 네 가지이고 필요한 컴포넌트가 설치된 타입을 선택할 수 있습니다. 필요한 서비스를 추가해야 하는 경우는 클러스터 관리 도구인 Ambari의 Add Service 기능을 사용할 수 있습니다.
클러스터 관리자 계정: Ambari, Hue, Zeppelin 관리 콘솔에 접속하기 위한 클러스터 계정을 설정해 주십시오.
클러스터 add-on: 기본 타입외에 추가로 설치할 컴포넌트를 옵션으로 선택해서 구성할 수 있습니다.
커버로스 인증 구성: Kerberos를 사용하여 Secure Hadoop 클러스터를 구성하려고 하는 경우에 선택합니다. Realm은 인증 관리 도메인입니다. 아래 설정값 대로 KDC(Kerberos Distribute Center)가 구성됩니다.
- Realm : KDC의 Realm 정보 KDC admin (Realm의 이름은 대문자만 허용)
- KDC 관리자 계정 패스워드 : KDC admin 계정의 패스워드
VPC: 사전 작업에서 생성한 VPC를 선택합니다.
클러스터 관리자 계정: Ambari, Hue, Zeppelin 관리 콘솔에 접속하기 위한 클러스터 계정을 설정해 주십시오.
클러스터 관리자 계정 패스워드: 클러스터 계정의 패스워드를 입력해 주십시오.
ACG 설정: Cloud Hadoop ACG는 클러스터를 생성할 때마다 자동 생성 됩니다. 네트워크 ACL을 설정하려는 경우, 자동으로 생성된 ACG를 선택해서 규칙을 수정할 수 있습니다. ACG 설정에 대한 자세한 내용은 방화벽 설정(ACG)을 참고해 주십시오.

주의

Cloud Hadoop 1.3 버전의 Ranger UI의 계정(ID/Password)은 admin/admin으로 설정됩니다.
Cloud Hadoop 1.4 이상 버전의 Ranger UI의 계정(ID/Password)은 admin/{사용자가 입력한 패스워드}로 설정됩니다.

2. 스토리지 & 서버 설정

스토리지 및 노드 서버 설정 정보 지정한 후 [다음] 버튼을 클릭해 주십시오.

Object Storage 버킷: Cloud Hadoop 클러스터는 사전 작업에서 생성한 Object Storage 버킷에서 데이터를 읽고 쓸 수 있습니다. 클러스터 생성 시, 사전 작업에서 생성한 Object Storage 버킷을 선택해 주십시오. 잠금이 설정된 버킷은 Cloud Hadoop과 연동되지 않습니다. Object Storage 버킷 생성 시 참고해 주십시오.
Bootstrap script: Cloud Hadoop 1.6 이상 버전에서 지원하는 기능입니다. 부트스트랩 스크립트 기능은 Cloud Hadoop과 연동되어 있는 Object Storage 버킷에 업로드한 셸 스크립트(Shell Script)를 Cloud Hadoop 생성 시점에 실행해 주는 기능입니다. 사용하려면 체크 박스를 선택하고 업로드한 셸 스크립트의 파일명을 기재해 주십시오. Object Storage 버킷에 파일이 존재하지 않거나, 올바르지 않은 파일명으로 입력한 경우에는 실행되지 않습니다. 부트스트랩 실행 로그는 Object Storage 버킷에 업로드된 셸 스크립트와 동일 경로에서 확인할 수 있습니다.
고가용성 지원: Cloud Hadoop은 기본적으로 HDFS NameNode, YARN Resource Manager, Oozie Server, HiveServer에 대한 이중화를 제공합니다. 이 사양은 최소 사양이기 때문에 선택을 해제할 수 없습니다.
엣지 노드 서버 타입: 엣지 노드로 사용할 서버 타입을 선택해 주십시오. 엣지 노드로 사용할 수 있는 서버 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
엣지 노드 Subnet: 엣지 노드를 위치시킬 Subnet을 선택합니다.
엣지 노드 개수: 엣지 노드의 개수는 1개로 고정되어 있습니다.
마스터 노드 Subnet: 마스터 노드를 위치시킬 Subnet을 선택합니다.
마스터 노드 서버 타입: 마스터 노드로 사용할 서버 타입을 선택해 주십시오. 마스터 노드로 사용할 수 있는 서버에 대한 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
마스터 노드 개수: Cloud Hadoop은 최소 사양으로 고가용성을 제공하기 때문에, 마스터 노드의 개수는 2개로 고정되어 있습니다.
마스터 노드 스토리지 타입: 스토리지 타입을 선택해 주십시오. SSD와 HDD 중에서 선택할 수 있습니다. 클러스터를 생성한 이후에는 스토리지 타입을 변경할 수 없습니다.
마스터 노드 스토리지 용량: 스토리지 용량을 선택해 주십시오. 최소 100GB ~ 2000GB(10GB 단위), 4000GB, 6000GB까지 선택할 수 있습니다.
작업자 노드 Subnet: 작업자 노드를 위치시킬 Subnet을 선택합니다.
작업자 노드 서버 타입: 마스터 노드로 사용할 서버 타입을 선택해 주십시오. 작업자 노드로 사용할 수 있는 서버에 대한 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
작업자 노드 개수: 작업자 노드 개수는 2~8개까지 선택할 수 있습니다. 작업자 노드는 클러스터 생성 이후에도 추가 또는 삭제할 수 있습니다.
작업자 노드 스토리지 타입: 스토리지 타입을 선택해 주십시오. SSD와 HDD 중에서 선택할 수 있습니다. 클러스터를 생성한 이후에는 스토리지 타입을 변경할 수 없습니다.
작업자 노드 스토리지 용량: 스토리지 용량을 선택해 주십시오. 최소 100GB부터 6T까지 선택할 수 있으며 10GB 단위로 지정할 수 있습니다.
요금제: 계정 생성 시 선택한 요금제가 적용됩니다. 요금에 대한 자세한 내용은 요금 안내를 참고해 주십시오.

주의

VPC 서비스의 Network ACL Rule을 별도로 세팅할 경우 Cloud Hadoop 클러스터 생성이 제대로 되지 않을 수 있습니다.
Inbound/Outbound Rule에 다음과 같은 조건이 있을 경우 클러스터 생성을 실패할 수 있습니다.

0.0.0.0/0 1-65535에 대한 Deny Rule이 있는 경우
Cloud Hadoop 클러스터를 생성하려는 Subnet의 대역과 겹치는 Deny Rule 있는 경우
Cloud Hadoop의 Default ACG 대역과 겹치는 Deny rule이 있는 경우

3. 인증키 설정

노드에 직접 접속할 때 필요한 SSH 인증키를 설정합니다.
보유하고 있는 인증키를 선택하거나 새로운 인증키를 생성한 후 [다음] 버튼을 클릭해 주십시오.

새로운 인증키를 생성하려면 새로운 인증키 생성을 선택해 인증키 이름을 입력한 후 [인증키 생성 및 저장] 버튼을 클릭해 주십시오.

참고

인증키는 관리자 비밀번호를 확인할 때 필요합니다. 저장한 pem 파일을 PC의 안전한 위치에 보관해 주십시오.

4. 최종 확인

설정 내용을 확인한 후 [생성] 버튼을 클릭해 주십시오.

참고

Cloud Hadoop ACG는 클러스터를 생성할 때마다 자동 생성 됩니다. 네트워크 ACL을 설정하려는 경우, 자동으로 생성된 ACG를 선택해서 규칙을 수정할 수 있습니다. ACG 설정에 대한 자세한 내용은 방화벽 설정(ACG)을 참고해 주십시오.
클러스터가 생성되는 데는 약 30~50분이 소요됩니다. 클러스터 생성이 완료되어 운영이 시작되면 클러스터 목록의 상태 열에 운영중이 표시됩니다.

클러스터 삭제

Cloud Hadoop 클러스터를 삭제하는 방법은 다음과 같습니다.

네이버 클라우드 플랫폼 콘솔의 Classic 환경에서 Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
클러스터 목록에서 삭제하려는 클러스터를 선택한 후 [삭제] 버튼을 클릭해 주십시오.
삭제 확인 팝업창에서 해당 클러스터 이름을 입력한 후 [예] 버튼을 클릭해 주십시오.

주의

Cloud Hadoop 클러스터를 삭제하면 노드의 로컬 파일 시스템이나 HDFS 안에 저장된 데이터도 모두 삭제됩니다. 필요한 파일은 Object Storage 버킷에 복사하는 등 별도 백업을 해 주십시오.

참고

클러스터가 삭제되는 데는 수 분이 소요됩니다. 클러스터 삭제가 완료되면 클러스터 목록에서 해당 클러스터가 사라집니다.