Cloud Hadoop 시작
  • PDF

Cloud Hadoop 시작

  • PDF

VPC 환경에서 이용 가능합니다.

Cloud Hadoop에서 제공하는 Cloud Hadoop의 사양을 확인하고 전체 시나리오를 충분히 숙지했다면 Cloud Hadoop 이용을 시작하기 위한 준비를 완료한 것입니다. 이제 다음으로 가장 먼저 할 일은 Cloud Hadoop 클러스터를 생성하는 것입니다. Cloud Hadoop 클러스터 생성 및 관리는 네이버 클라우드 플랫폼 콘솔에서 진행합니다.
시작 가이드를 통해 학습하게 되는 내용을 정리하면 다음과 같습니다.

사전 작업

  1. Object Storage 생성
    클러스터를 생성하기 전에 데이터를 저장하고, 검색하기 위한 Object Storage 버킷이 생성되어 있어야 합니다. 자세한 내용은 Object Storage 가이드를 참고해 주십시오.

  2. VPC, Subnet 생성
    네이버 클라우드 플랫폼 콘솔의 Networking > VPC에서 VPC, Subnet을 생성합니다. 자세한 설명은 VPC 사용 가이드를 참고해 주십시오. 클러스터 개수와 상관없이 VPC는 최소 1개가 필요합니다. 여러 개의 클러스터를 같은 VPC에 두고 사용할 수 있습니다.
    Cloud Hadoop을 생성하기 위해서는 최소 1개의 Public Subnet 과 Private Subnet이 필요합니다. 민간 VPC 환경에서는 KR-2 리전에서만 VPC를 생성할 수 있습니다. 이 가이드에서는 Private Subnet 1개, Public Subnet 2개를 생성했습니다.

VPC SUBNET 1 (PRIVATE) SUBNET 2 (PUBLIC) SUBNET 3 (PUBLIC)
172.16.0.0/16 172.16.0.0/24 172.16.1.0/28 172.16.2.0/28
  1. 노드 타입 선택
    예상 사용량을 고려하여 노드 타입을 미리 선택해 두십시오.

클러스터 생성

네이버 클라우드 플랫폼의 Cloud Hadoop 서비스를 사용하려면 클러스터를 먼저 생성해야 합니다.

Cloud Hadoop 클러스터를 생성하는 방법은 다음과 같습니다.

  1. 네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
  2. Platform 메뉴의 VPC을 클릭해 VPC 환경으로 변경해 주십시오.
  3. Products & Services > Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
  4. [클러스터 생성] 버튼을 클릭해 주십시오.
  5. 클러스터 생성 화면이 나타나면 다음 단계를 차례대로 진행해 주십시오.

1. 클러스터 설정

클러스터 설정 정보를 지정한 후 [다음] 버튼을 클릭해 주십시오.

  • 클러스터 버전: 현재 Cloud Hadoop 1.3, 1.4, 1.5, 1.6 버전을 제공 중입니다. 버전에 관한 자세한 내용은 Cloud Hadoop 릴리즈 노트 참고하세요.
  • 클러스터 타입: 클러스터 타입은 현재 Hadoop, Presto, HBase, Spark로 4가지이고, 필요한 컴포넌트가 설치된 타입을 선택할 수 있습니다. 필요한 서비스를 추가해야 하는 경우는 클러스터 관리 도구인 AmbariAdd Service 기능을 사용할 수 있습니다.
  • 클러스터 관리자 계정: Ambari, Hue, Zeppelin 관리 콘솔에 접속하기 위한 클러스터 계정을 설정해 주십시오.
  • 클러스터 add-on: 기본 타입에서 설치 컴포넌트 Presto(0.240), HBase(2.0.2)를 옵션으로 제공합니다.
  • 커버로스 인증 구성: Kerberos를 사용하여 Secure Hadoop 클러스터를 구성하려고 하는 경우 선택합니다. 아래 설정값 대로 KDC가 구성됩니다.
    • Realm : KDC의 Realm 정보 KDC admin
    • password : KDC admin 계정의 패스워드
  • VPC: 사전 작업에서 생성한 VPC를 선택합니다.
  • 클러스터 관리자 계정: Ambari, Hue, Zeppelin 관리 콘솔에 접속하기 위한 클러스터 계정을 설정해 주십시오.
  • 클러스터 관리자 계정 패스워드: 클러스터 계정의 패스워드를 입력해 주십시오.
주의

Cloud Hadoop 1.3 버전의 Ranger UI의 계정(ID/Password)은 admin/admin으로 설정됩니다.
Cloud Hadoop 1.4, 1.5, 1.6 버전의 Ranger UI의 계정(ID/Password)은 admin/{사용자가 입력한 패스워드}로 설정됩니다.

2. 스토리지 & 서버 설정

스토리지 및 노드 서버 설정 정보 지정한 후 [다음] 버튼을 클릭해 주십시오.

  • Object Storage 버킷: 사전 작업에서 생성한 Object Storage 버킷을 선택해 주십시오. Cloud Hadoop 클러스터는 여기서 선택한 버킷에서 데이터를 읽고, 쓸 수 있습니다. 잠금이 설정된 버킷은 Cloud Hadoop과 연동되지 않습니다.
  • Bootstrap script: Bootstrap 스크립트 기능은 Cloud Hadoop과 연동되어 있는 Object Storage 버킷에 업로드한 스크립트(Shell Script)를 Cloud Hadoop 생성 시점에 실행해 주는 기능입니다. 사용하려면 체크 박스를 선택하고 업로드한 스크립트(Shell Script)의 파일명을 기재해 주십시오. Object Storage 버킷에 파일이 존재하지 않거나, 올바르지 않은 파일명으로 입력한 경우에는 실행되지 않습니다. Bootstrap 실행 로그는 Object Storage 버킷에 업로드된 스크립트(Shell Script)와 동일 경로에서 확인할 수 있습니다.
  • 고가용성 지원: Cloud Hadoop은 기본적으로 HDFS Namenode, YARN Resource Manager, Oozie Server, Hive Server에 대한 이중화를 제공합니다. 이 사양은 최소 사양이기 때문에 선택을 해제할 수 없습니다.
  • 엣지노드 서버 타입: 엣지 노드로 사용할 서버 타입을 선택해 주십시오. 클러스터를 생성한 이후에는 서버 타입을 변경할 수 없습니다.
    엣지노드 Subnet: 엣지노드 노드를 위치시킬 Subnet을 선택합니다.
  • 엣지노드 개수: 엣지 노드의 개수는 1개로 고정되어 있습니다.
  • 마스터노드 Subnet: 마스터 노드를 위치시킬 Subnet을 선택합니다.
  • 마스터노드 서버 타입: 마스터 노드로 사용할 서버 타입을 선택해 주십시오. 클러스터를 생성한 이후에는 서버 타입을 변경할 수 없습니다.
  • 마스터노드 개수: Cloud Hadoop은 최소 사양으로 고가용성을 제공하기 때문에, 마스터 노드의 개수는 2개로 고정되어 있습니다.
  • 마스터노드 스토리지 타입: 스토리지 타입을 선택해 주십시오. 클러스터를 생성한 이후에는 스토리지 타입을 변경할 수 없습니다.
  • 마스터노드 스토리지 용량: 스토리지 용량을 선택해 주십시오. 최소 100GB ~ 2000GB(10GB 단위), 4000GB, 6000GB까지 선택할 수 있습니다.
  • 작업자노드 Subnet: 작업자 노드를 위치시킬 Subnet을 선택합니다.
  • 작업자노드 서버타입: 마스터 노드로 사용할 서버 타입을 선택해 주십시오. 클러스터를 생성한 이후에는 서버 타입을 변경할 수 없습니다.
  • 작업자노드 개수: 작업자 노드 개수는 2~8개까지 선택할 수 있습니다. 작업자 노드는 클러스터 생성 이후에도 추가 또는 삭제할 수 있습니다.
  • 작업자노드 스토리지 타입: 스토리지 타입을 선택해 주십시오. 클러스터를 생성한 이후에는 스토리지 타입을 변경할 수 없습니다.
  • 작업자노드 스토리지 용량: 스토리지 용량을 선택해 주십시오. 최소 100GB부터 2T까지 선택할 수 있으며 10GB 단위로 지정할 수 있습니다.
  • 요금제: 계정 생성 시 선택한 요금제가 적용됩니다. 요금에 대한 자세한 내용은 요금 안내를 참고해 주십시오.
참고

클러스터를 생성한 이후에는 서버 스펙에 대한 조정(scale up/down)이 불가능합니다. 클러스터를 구성할 때 예상 사용량과 노드의 역할(엣지/마스터/작업자)를 고려해 선택해 주십시오.

3. 인증키 설정

보유하고 있는 인증키를 선택하거나 새로운 인증키를 생성한 후 [다음] 버튼을 클릭해 주십시오.

  • 새로운 인증키를 생성하려면 새로운 인증키 생성을 선택해 인증키 이름을 입력한 후 [인증키 생성 및 저장] 버튼을 클릭해 주십시오.
참고

인증키는 관리자 비밀번호를 확인할 때 필요합니다. 저장한 pem 파일을 PC의 안전한 위치에 보관해 주십시오.

4. 최종 확인

설정 내용을 확인한 후 [생성] 버튼을 클릭해 주십시오.

참고

클러스터가 생성되는 데는 약 30~50분이 소요됩니다. 클러스터 생성이 완료되어 운영이 시작되면 클러스터 목록의 상태 열에 운영중이 표시됩니다.

클러스터 삭제

Cloud Hadoop 클러스터를 삭제하는 방법은 다음과 같습니다.

  1. 네이버 클라우드 플랫폼 콘솔의 Classic 환경에서 Products & Services > Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
  2. 클러스터 목록에서 삭제하려는 클러스터를 선택한 후 [삭제] 버튼을 클릭해 주십시오.
  3. 삭제 확인 팝업창에서 해당 클러스터 이름을 입력한 후 [예] 버튼을 클릭해 주십시오.
참고

클러스터가 삭제되는 데는 수 분이 소요됩니다. 클러스터 삭제가 완료되면 클러스터 목록에서 해당 클러스터가 사라집니다.

주의

Cloud Hadoop 클러스터를 삭제하면 노드의 로컬 파일 시스템이나 HDFS 안에 저장된 데이터도 모두 삭제됩니다. 필요한 파일은 Object Storage 버킷에 복제하는 등 별도 백업을 해 주십시오.

Object Storage 파일 또는 버킷 삭제

Object Storage 콘솔에서 삭제할 파일을 선택한 후 [편집] > 삭제하기를 클릭해 주십시오.
Object Storage 파일 또는 버킷 삭제에 대한 자세한 내용은 Object Storage 사용 가이드를 참조해 주십시오.

주의

삭제가 완료된 Object Storage 파일 또는 버킷은 복구할 수 없으므로 신중히 판단하여 진행해 주십시오.


이 글이 도움이 되었나요?