Cloud DB for MySQL을 외부 Hive Metastore로 연동 (옵션)

이 가이드는 네이버 클라우드 플랫폼 Cloud DB for MySQL를 Cloud Hadoop의 External Hive Metastore로 연동하는 방법을 소개합니다.

사전작업

1. Cloud Hadoop 클러스터를 생성해 주십시오.
   • Cloud Hadoop 클러스터 생성에 관한 자세한 내용은 Cloud Hadoop 시작 가이드를 참고해 주십시오.
2. Cloud DB for MySQL를 생성해 주십시오.
   • MySQL 5.7.x버전에서만 연동이 가능하므로 MySQL 5.7.x버전으로 생성해 주십시오.
   • Cloud DB for MySQL 생성에 관한 자세한 내용은 Cloud DB for MySQL 사용 가이드를 참고해 주십시오.
3. ACG를 설정해 주십시오.
   • Cloud Hadoop에서 Cloud DB for MySQL 서비스에 접속하기 위해 Cloud DB for MySQL ACG의 접근 소스에 Cloud Hadoop ACG를 넣어주시고, 모든 통신(1-65535) 포트를 허용해 주십시오.
     

외부 Hive Metastore

외부 Hive Metastore 연동

Hive Metastore 서버는 메타데이터를 관리하기 위해 DB 저장소를 이용합니다. 기본 설정은 Cloud Hadoop 내에 설치된 MySQL를 이용하도록 설정되어 있습니다.
외부 Hive Metastore 연동 방식을 이용하여 Cloud DB for MySQL를 Hive Metastore 서버의 메타데이터 저장소로 변경하여 이용하실 수 있습니다.
Metastore 저장소 변경 작업에 따른 Hive Metastore 서버 재시작이 자동으로 진행되므로, 수행 중인 Hive Job이 있는지 확인이 필요합니다.
메타데이터 저장소 변경에는 기존 메타데이터의 이전은 포함되지 않습니다.

외부 Hive Metastore로 변경하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에서 Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
2. 클러스터 목록에서 연동할 클러스터를 선택한 후, [클러스터 관리] > 외부 Hive 메타스토어 연동을 클릭해 주십시오.
3. USER_ID와 Password 암호를 입력한 후 [TEST CONNECTION] 버튼을 클릭해 주십시오.
   • Cloud DB for MySQL의 Password Plugin 설정에 따라 이용에 제약이 발생할 수 있습니다.
     Cloud Hadoop 외부 Hive 메타스토어 계정 정책에 맞춰서 Cloud DB for MySQL 계정을 관리해서 연동해야 합니다.
4. TEST CONNECTION이 정상임을 확인한 후 [예] 버튼을 클릭해 주십시오.
   • TEST CONNECTION이 성공하려면 아래 사항들을 사전에 진행해야 합니다.
   • TEST CONNECTION 수행 후 콘솔 메시지 내용을 참고하시면 정상 여부를 확인할 수 있습니다.
     • 정상: Cloud DB for MySQL로의 접속 테스트가 정상입니다.
     • ACG 차단: Cloud Hadoop에서 DB 서버로 접근이 차단된 상태입니다. Cloud DB for MySQL의 ACG 설정을 수정해 주십시오.
     • 계정 & 패스워드 오입력: 계정 또는 비밀번호가 잘못 입력 되었습니다. 계정과 비밀번호를 정확히 입력해 주십시오.
     • 패스워드 제약 조건 미준수: User 암호는 최소 8글자 이상, 최대 20자이며 영어대소문자, 특수문자, 숫자 각각 1자 이상 포함되어야 합니다. 특수문자(', ", `, |, /, &, +, Space)는 입력할 수 없습니다.
     • 계정 DDL 미보유: 입력하신 계정이 DDL 명령을 수행할 수 없습니다. DB 권한을 DDL로 수정해 주십시오.
     • Cloud DB for MySQL 내 DB 생성 프로시저가 없는 경우: Database 제어가 원활하지 않습니다. 프로시저 sys.ncp_create_db가 정상동작하는지 확인해 주십시오.
     • 이미 연동된 Cloud DB for MySQL 일 경우: 요청하신 DB 서비스는 현재 Cloud Hadoop과 연동된 상태입니다. 다른 DB 서비스를 선택해 주십시오.
     • 마스터 노드가 다운된 상태: Cloud Hadoop 마스터 노드의 상태가 비정상입니다. 서버 점검이 필요합니다.
     • 원인 불명의 오류: 고객 문의로 요청 부탁드립니다.
     • 고객 클러스터에 Hive가 지워졌을 경우: Cloud Hadoop에 Hive가 설치되지 않았습니다. 클러스터를 확인해 주십시오.
5. 외부 Hive Metastore 연동 작업이 시작되면 클러스트 목록 또는 상세 정보의 상태(Status) 항목이 설정중으로 바뀌었다가, 작업이 완료되면 운영중으로 다시 표시됩니다.