-
인쇄
-
PDF
Cloud Hadoop 시작
-
인쇄
-
PDF
Cloud Hadoop에서 제공하는 Cloud Hadoop의 사양을 확인하고 전체 시나리오를 충분히 숙지했다면 Cloud Hadoop 이용을 시작하기 위한 준비를 완료한 것입니다. 이제 다음으로 가장 먼저 할 일은 Cloud Hadoop 클러스터를 생성하는 것입니다. Cloud Hadoop 클러스터 생성 및 관리는 네이버 클라우드 플랫폼 콘솔에서 진행합니다.
시작 가이드를 통해 학습하게 되는 내용을 정리하면 다음과 같습니다.
사전 작업
-
Object Storage 생성
클러스터를 생성하기 전에 데이터를 저장하고 검색하기 위한 Object Storage 버킷이 생성되어 있어야 합니다. 자세한 내용은 Object Storage 가이드를 참고해 주십시오. -
VPC, Subnet 생성
네이버 클라우드 플랫폼 콘솔의 Networking > VPC에서 VPC, Subnet을 생성합니다. 자세한 설명은 VPC 사용 가이드를 참고해 주십시오. 클러스터 개수와 상관없이 VPC는 최소 1개가 필요합니다. 여러 개의 클러스터를 같은 VPC에 두고 사용할 수 있습니다.
Cloud Hadoop 생성 시 Public Subnet과 Private Subnet을 노드 용도에 맞게 생성하고 사용할 수 있습니다. VPC 환경에서 엣지 노드와 마스터 노드는 Public Subnet 또는 Private Subnet으로 설정할 수 있으며, 작업자 노드는 Private Subnet으로만 설정할 수 있습니다. Cloud Hadoop 생성 시 엣지 노드의 개수는 1개, 마스터 노드의 개수는 2개로 고정됩니다. 이 가이드에서는 Private Subnet 1개, Public Subnet 2개를 생성했습니다.
VPC | SUBNET 1 (PRIVATE) | SUBNET 2 (PUBLIC) | SUBNET 3 (PUBLIC) |
---|---|---|---|
172.16.0.0/16 | 172.16.0.0/24 | 172.16.1.0/28 | 172.16.2.0/28 |
- 노드 타입 선택
예상 사용량을 고려하여 노드 타입을 미리 선택해 주십시오.
클러스터 생성
네이버 클라우드 플랫폼의 Cloud Hadoop 서비스를 사용하려면 클러스터를 먼저 생성해야 합니다.
Cloud Hadoop 클러스터를 생성하는 방법은 다음과 같습니다.
- 네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
- Platform 메뉴의 VPC을 클릭해 VPC 환경으로 변경해 주십시오.
- Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
- [클러스터 생성] 버튼을 클릭해 주십시오.
- 클러스터 생성 화면이 나타나면 다음 단계를 차례대로 진행해 주십시오.
1. 클러스터 설정
클러스터 설정 정보를 지정한 후 [다음] 버튼을 클릭해 주십시오.
- 클러스터 버전: 현재 Cloud Hadoop 1.3, 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0 버전을 제공 중입니다. 클러스터 버전에 관한 자세한 내용은 Cloud Hadoop 릴리스 노트 참고하세요.
- 클러스터 타입: 클러스터 타입은 현재 Hadoop, Presto, HBase, Spark로 네 가지이고 필요한 컴포넌트가 설치된 타입을 선택할 수 있습니다. 필요한 서비스를 추가해야 하는 경우는 클러스터 관리 도구인 Ambari의 Add Service 기능을 사용할 수 있습니다.
- 클러스터 관리자 계정: Ambari, Hue, Zeppelin 관리 콘솔에 접속하기 위한 클러스터 계정을 설정해 주십시오.
- 클러스터 add-on: 기본 타입외에 추가로 설치할 컴포넌트를 옵션으로 선택해서 구성할 수 있습니다.
- 커버로스 인증 구성: Kerberos를 사용하여 Secure Hadoop 클러스터를 구성하려고 하는 경우에 선택합니다. Realm은 인증 관리 도메인입니다. 아래 설정값 대로 KDC(Kerberos Distribute Center)가 구성됩니다.
- Realm : KDC의 Realm 정보 KDC admin (Realm의 이름은 대문자만 허용)
- KDC 관리자 계정 패스워드 : KDC admin 계정의 패스워드
- VPC: 사전 작업에서 생성한 VPC를 선택합니다.
- 클러스터 관리자 계정: Ambari, Hue, Zeppelin 관리 콘솔에 접속하기 위한 클러스터 계정을 설정해 주십시오.
- 클러스터 관리자 계정 패스워드: 클러스터 계정의 패스워드를 입력해 주십시오.
- ACG 설정: Cloud Hadoop ACG는 클러스터를 생성할 때마다 자동 생성 됩니다. 네트워크 ACL을 설정하려는 경우, 자동으로 생성된 ACG를 선택해서 규칙을 수정할 수 있습니다. ACG 설정에 대한 자세한 내용은 방화벽 설정(ACG)을 참고해 주십시오.
Cloud Hadoop 1.3 버전의 Ranger UI의 계정(ID/Password)은 admin/admin으로 설정됩니다.
Cloud Hadoop 1.4, 1.5, 1.6, 1.7, 1.8, 1.9, 2.0 버전의 Ranger UI의 계정(ID/Password)은 admin/{사용자가 입력한 패스워드}로 설정됩니다.
2. 스토리지 & 서버 설정
스토리지 및 노드 서버 설정 정보 지정한 후 [다음] 버튼을 클릭해 주십시오.
- Object Storage 버킷: Cloud Hadoop 클러스터는 사전 작업에서 생성한 Object Storage 버킷에서 데이터를 읽고 쓸 수 있습니다. 클러스터 생성 시, 사전 작업에서 생성한 Object Storage 버킷을 선택해 주십시오. 잠금이 설정된 버킷은 Cloud Hadoop과 연동되지 않습니다. Object Storage 버킷 생성 시 참고해 주십시오.
- Bootstrap script: 부트스트랩 스크립트 기능은 Cloud Hadoop과 연동되어 있는 Object Storage 버킷에 업로드한 셸 스크립트(Shell Script)를 Cloud Hadoop 생성 시점에 실행해 주는 기능입니다. 사용하려면 체크 박스를 선택하고 업로드한 셸 스크립트의 파일명을 기재해 주십시오. Object Storage 버킷에 파일이 존재하지 않거나, 올바르지 않은 파일명으로 입력한 경우에는 실행되지 않습니다. 부트스트랩 실행 로그는 Object Storage 버킷에 업로드된 셸 스크립트와 동일 경로에서 확인할 수 있습니다.
- 고가용성 지원: Cloud Hadoop은 기본적으로 HDFS NameNode, YARN Resource Manager, Oozie Server, HiveServer에 대한 이중화를 제공합니다. 이 사양은 최소 사양이기 때문에 선택을 해제할 수 없습니다.
- 엣지 노드 서버 타입: 엣지 노드로 사용할 서버 타입을 선택해 주십시오. 엣지 노드로 사용할 수 있는 서버 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
- 엣지 노드 Subnet: 엣지 노드 노드를 위치시킬 Subnet을 선택합니다.
- 엣지 노드 개수: 엣지 노드의 개수는 1개로 고정되어 있습니다.
- 마스터 노드 Subnet: 마스터 노드를 위치시킬 Subnet을 선택합니다.
- 마스터 노드 서버 타입: 마스터 노드로 사용할 서버 타입을 선택해 주십시오. 마스터 노드로 사용할 수 있는 서버에 대한 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
- 마스터 노드 개수: Cloud Hadoop은 최소 사양으로 고가용성을 제공하기 때문에, 마스터 노드의 개수는 2개로 고정되어 있습니다.
- 마스터 노드 스토리지 타입: 스토리지 타입을 선택해 주십시오. SSD와 HDD 중에서 선택할 수 있습니다. 클러스터를 생성한 이후에는 스토리지 타입을 변경할 수 없습니다.
- 마스터 노드 스토리지 용량: 스토리지 용량을 선택해 주십시오. 최소 100GB ~ 2000GB(10GB 단위), 4000GB, 6000GB까지 선택할 수 있습니다.
- 작업자 노드 Subnet: 작업자 노드를 위치시킬 Subnet을 선택합니다.
- 작업자 노드 서버 타입: 마스터 노드로 사용할 서버 타입을 선택해 주십시오. 작업자 노드로 사용할 수 있는 서버에 대한 사양은 클러스터 노드별 지원 서버 사양을 참고해 주십시오.
- 작업자 노드 개수: 작업자 노드 개수는 2~8개까지 선택할 수 있습니다. 작업자 노드는 클러스터 생성 이후에도 추가 또는 삭제할 수 있습니다.
- 작업자 노드 스토리지 타입: 스토리지 타입을 선택해 주십시오. SSD와 HDD 중에서 선택할 수 있습니다. 클러스터를 생성한 이후에는 스토리지 타입을 변경할 수 없습니다.
- 작업자 노드 스토리지 용량: 스토리지 용량을 선택해 주십시오. 최소 100GB부터 6T까지 선택할 수 있으며 10GB 단위로 지정할 수 있습니다.
- 요금제: 계정 생성 시 선택한 요금제가 적용됩니다. 요금에 대한 자세한 내용은 요금 안내를 참고해 주십시오.
VPC 서비스의 Network ACL Rule을 별도로 세팅할 경우 Cloud Hadoop 클러스터 생성이 제대로 되지 않을 수 있습니다.
Inbound/Outbound Rule에 다음과 같은 조건이 있을 경우 클러스터 생성을 실패할 수 있습니다.
- 0.0.0.0/0 1-65535에 대한 Deny Rule이 있는 경우
- Cloud Hadoop 클러스터를 생성하려는 Subnet의 대역과 겹치는 Deny Rule 있는 경우
- Cloud Hadoop의 Default ACG 대역과 겹치는 Deny rule이 있는 경우
3. 인증키 설정
노드에 직접 접속할 때 필요한 SSH 인증키를 설정합니다.
보유하고 있는 인증키를 선택하거나 새로운 인증키를 생성한 후 [다음] 버튼을 클릭해 주십시오.
- 새로운 인증키를 생성하려면 새로운 인증키 생성을 선택해 인증키 이름을 입력한 후 [인증키 생성 및 저장] 버튼을 클릭해 주십시오.
인증키는 관리자 비밀번호를 확인할 때 필요합니다. 저장한 pem 파일을 PC의 안전한 위치에 보관해 주십시오.
4. 최종 확인
설정 내용을 확인한 후 [생성] 버튼을 클릭해 주십시오.
- Cloud Hadoop ACG는 클러스터를 생성할 때마다 자동 생성 됩니다. 네트워크 ACL을 설정하려는 경우, 자동으로 생성된 ACG를 선택해서 규칙을 수정할 수 있습니다. ACG 설정에 대한 자세한 내용은 방화벽 설정(ACG)을 참고해 주십시오.
- 클러스터가 생성되는 데는 약 30~50분이 소요됩니다. 클러스터 생성이 완료되어 운영이 시작되면 클러스터 목록의 상태 열에
운영중
이 표시됩니다.
클러스터 삭제
Cloud Hadoop 클러스터를 삭제하는 방법은 다음과 같습니다.
- 네이버 클라우드 플랫폼 콘솔의 Classic 환경에서 Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
- 클러스터 목록에서 삭제하려는 클러스터를 선택한 후 [삭제] 버튼을 클릭해 주십시오.
- 삭제 확인 팝업창에서 해당 클러스터 이름을 입력한 후 [예] 버튼을 클릭해 주십시오.
Cloud Hadoop 클러스터를 삭제하면 노드의 로컬 파일 시스템이나 HDFS 안에 저장된 데이터도 모두 삭제됩니다. 필요한 파일은 Object Storage 버킷에 복제하는 등 별도 백업을 해 주십시오.
클러스터가 삭제되는 데는 수 분이 소요됩니다. 클러스터 삭제가 완료되면 클러스터 목록에서 해당 클러스터가 사라집니다.
Object Storage 파일 또는 버킷 삭제
Object Storage 콘솔에서 삭제할 파일을 선택한 후 [편집] > 삭제하기를 클릭해 주십시오.
Object Storage 파일 또는 버킷 삭제에 대한 자세한 내용은 Object Storage 사용 가이드를 참조해 주십시오.
삭제가 완료된 Object Storage 파일 또는 버킷은 복구할 수 없으므로 신중히 판단하여 진행해 주십시오.