Hue 사용

네이버 클라우드 플랫폼의 Cloud Hadoop에서는 Hue 컴포넌트를 사용할 수 있습니다.
이 가이드에서는 Cloud Hadoop 클러스터에서의 Hue의 기능과 Hue에서 Hive 편집기, Hue 브라우저를 사용하는 방법을 설명합니다.

Hue 구성 요소

Hue(Hadoop User Experience)는 Apache Hadoop 클러스터와 함께 사용되는 웹 기반 사용자 인터페이스입니다.
Hue는 다른 Hadoop 에코시스템과 함께 그룹화되어 Hive 작업 및 Spark Job 등을 실행할 수 있습니다.

Cloud Hadoop 클러스터의 Hue는 다음 구성 요소를 지원합니다.

• 브라우저

  • 문서: Hue에서 저장한 워크플로(Workflow), 쿼리, 스크립트 파일을 볼 수 있음
  • 파일: HDFS에 저장된 파일을 볼 수 있음
  • S3: Object Storage 버킷에 저장된 파일을 볼 수 있음
  • 테이블: Hive warehouse에 저장된 테이블을 볼 수 있음
  • Job: 실행한 Oozie Job의 상태, 로그를 볼 수 있음

• 편집기

  • Hive: Hive 쿼리를 실행할 수 있음
  • Scala, PySpark: spark-shell처럼 인터렉티브한 구문을 실행할 수 있음
  • Spark Submit Jar, Spark: 각각 jar, py 파일을 Spark Job으로 제출할 수 있음
  • Java: Oozie 워크플로를 통해 jar를 실행할 수 있음
  • Distcp: Oozie 워크플로를 통해 Distcp 작업을 실행할 수 있음
  • Shell: Oozie 워크플로를 통해 .sh 파일을 실행할 수 있음
  • MapReduce: MapReduce 애플리케이션을 Oozie 워크플로를 통해 실행할 수 있음

• 스케줄러

  • Workflow: Oozie 워크플로를 생성할 수 있음
  • 예약: 생성한 워크플로를 스케줄링할 수 있음

Hue 접속

Hue는 다음 두 가지 방법으로 접속이 가능합니다.

• 콘솔의 Web UI 목록을 통한 연결
• 도메인을 이용한 연결

콘솔의 Web UI 목록을 통한 연결

Cloud Hadoop 콘솔에서 [Application 별 보기] 를 통해 Hue Web UI에 접속할 수 있습니다. 자세한 내용은 Application 별 보기를 참조해 주십시오.

도메인을 이용한 연결

도메인을 이용하여 Hue Web UI에 접속하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼 콘솔에 접속해 주십시오.
2. Platform 메뉴의 VPC을 클릭해 VPC 환경으로 변경해 주십시오.
3. Services > Big Data & Analytics > Cloud Hadoop 메뉴를 차례대로 클릭해 주십시오.
4. 클러스터 계정을 클릭한 후, 클러스터 상세 정보 화면에서 도메인 주소를 확인해 주십시오.
   
5. 웹 브라우저 주소 입력란에 다음과 같이 도메인 주소와 포트 번호를 입력한 후, Hue 웹 페이지에 접속해 주십시오.

   https://{도메인주소}:8081
   

6. 브라우저에 로그인 페이지가 표시되면 클러스터 생성 시 설정한 관리자 계정 및 패스워드를 입력하여 로그인해 주십시오.
   • 콘솔에서 클러스터 관리자 계정을 초기화하더라도 Hue 계정 정보는 초기화되지 않습니다. 패스워드는 Hue 웹 페이지에서 변경해야 합니다.

Hive 쿼리 실행

Hive 쿼리를 실행하는 방법은 다음과 같습니다.

1. 좌측 메뉴 바에서 > Hive(Hive UI) 를 클릭하여 편집기를 실행해 주십시오.
2. 편집창에서 쿼리를 실행할 데이터베이스를 목록에서 선택해 주십시오.
3. 쿼리 Editor 창에 쿼리를 입력한 후 [실행] 버튼을 클릭해 주십시오.
   • [결과] 탭에서는 실행한 쿼리의 결과를 볼 수 있습니다.
   • [쿼리 기록] 탭에서 실행했던 쿼리 목록을 확인할 수 있습니다.
     

브라우저 조회

상단 메뉴 바에서 좌측의 메뉴 아이콘을 클릭한 후 브라우저 영역에서 원하는 브라우저를 클릭해 주십시오.

• 파일 브라우저
  • HDFS 파일 조회
  • hdfs의 기본 디렉터리 주소: hdfs://user/계정명
  • 계정명 앞이나 root의 슬래시를 클릭하여 이동 가능
  • [새로 만들기]: 새로운 파일이나 디렉터리 생성
  • [업로드]: 현재의 디렉터리에 파일 업로드
    

• S3 브라우저

  • 사용자의 API ACCESS KEY로 인증할 수 있는 모든 버킷을 조회
  • s3의 기본 디렉터리 주소: s3a://버킷이름
  • root의 슬래시를 클릭하여 이동 가능
  • [새로 만들기]: 새로운 파일이나 디렉터리를 생성
  • [업로드]: 현재의 디렉터리에 파일 업로드
    

• 테이블 브라우저

  • Hive에서 생성한 데이터베이스와 테이블을 조회