Cloud Hadoop 이용 시나리오
-
인쇄
-
PDF
Cloud Hadoop 이용 시나리오
-
인쇄
-
PDF
Cloud Hadoop 서비스는 네이버 클라우드 플랫폼 콘솔에서 Cloud Hadoop 클러스터를 생성하는 것으로 이용 신청됩니다. 클러스터 노드 접속을 위한 네트워크 및 방화벽 설정, 스토리지 설정도 콘솔에서 진행합니다. 이후 제공되는 서비스별 각 Web UI에 접속하여 각종 데이터를 분석할 수 있습니다.
Cloud Hadoop 서비스의 전체 이용 시나리오를 정리하면 다음과 같습니다.
-
Cloud Hadoop 생성 관리: 콘솔
- 서버 이미지와 서버 타입을 선택해 서버 생성
- 이 단계에 대한 사용 가이드 페이지
-
VPC, Subnet, ACG, SSL VPN 설정: 콘솔
- 네트워크 접근 제어를 위해 VPC, Subnet, ACG, SSL VPN 설정 진행
- 이 단계에 대한 사용 가이드 페이지
-
Cloud Hadoop 사용 및 관리: 콘솔
- 클러스터 정보 확인
- 클러스터 관리(노드 수 변경, 노드 사양 변경, 관리자 패스워드 초기화, 설정 백업)
- 서버 접속 관리(클러스터 직접 접속 인증키 변경, 인증키 관리)
- 접근할 수 있는 Web UI와 접근 규칙을 확인하고, 바로가기 링크를 클릭하여 해당 Web UI 접속
- 이 단계에 대한 사용 가이드 페이지
-
클러스터 노드 및 Web UI 접속: PC의 터미널 프로그램, 웹 브라우저
- 이 단계에 대한 사용 가이드 페이지
-
Web UI 사용: PC의 터미널 프로그램, 웹 브라우저
- Ambari, Hue 등 기본 제공 에코시스템 서비스별 Web UI 페이지 사용
- 이 단계에 대한 사용 가이드 페이지
- Ambari UI
- Ambari REST API 사용
- Apache Livy로 Spark Job 제출
- Hive 사용
- Hive UDF 실행
- Hive External Table로 CSV 파일 연동
- Hue 사용
- MySQL Stored Procedure로 DB 생성
- OpenTSDB 사용
- Presto 사용
- Presto로 Hive Warehouse 데이터 분석
- Ranger Plugin으로 접근제어 설정
- Ranger를 통한 사용자별 HDFS 접근권한 관리
- Spark Scala Job 제출
- Spark 3 버전 사용
- Sqoop 사용
- Zeppelin 사용
- Zeppelin에서 Spark2.4 이용
- Zeppelin/Jupyter Notebook 서버로 Spark Job 제출
-
외부 연동: PC의 터미널 프로그램, Web UI 및 각 서비스 연동
- Cloud Hadoop 애플리케이션과 DB를 연동하여 각종 데이터 분석
- 이 단계에 대한 사용 가이드 페이지
- Apache Flume 연동
- CDB MongoDB에서 Hive로 데이터 이전
- CDB MySQL 데이터 이전
- Cloud DB for MySQL 사용 가이드
- Cloud Data Streaming Service 로 Presto 연동
- Cloud Data Streaming Service 로 Spark Streaming 연동
- Cloud Data Streaming Service 사용가이드
- Cloud Insight로 Hadoop 모니터링
- Object Storage + Sub Account 연동
- Object Storage를 이용한 데이터 이전
- Object Storage 사용 가이드
- Cloud Hadoop에 NAS 마운트
- NAS 사용 가이드
- Tableau 연동
이 문서가 도움이 되었습니까?