Cloud Hadoop 이용 시나리오
-
인쇄
-
PDF
Cloud Hadoop 이용 시나리오
-
인쇄
-
PDF
VPC 환경에서 이용 가능합니다.
Cloud Hadoop 서비스는 네이버 클라우드 플랫폼 콘솔에서 Cloud Hadoop 클러스터를 생성하는 것으로 이용 신청됩니다. 클러스터 노드 접속을 위한 네트워크 및 방화벽 설정, 스토리지 설정도 콘솔에서 진행합니다. 이후 제공되는 서비스별 각 UI에 접속하여 각종 데이터를 분석할 수 있습니다.
Cloud Hadoop 서비스의 전체 이용 시나리오를 정리하면 다음과 같습니다.
-
Cloud Hadoop 생성 관리: 콘솔
- 서버 이미지와 서버 타입을 선택해 서버 생성
- 이 단계에 대한 사용 가이드 페이지
-
VPC, Subnet, ACG, SSL VPN 설정: 콘솔
- 네트워크 접근 제어를 위해 VPC, Subnet, ACG, SSL VPN 설정 진행
- 이 단계에 대한 사용 가이드 페이지
-
Cloud Hadoop 사용 및 관리: 콘솔
- 클러스터 정보 확인
- 클러스터 관리(노드 수 변경, 노드 사양 변경, 관리자 패스워드 초기화, 설정 백업)
- 서버 접속 관리(클러스터 직접 접속 인증키 변경, 인증키 관리)
- 접근할 수 있는 Web UI와 접근 규칙을 확인하고, 바로가기 링크를 클릭하여 해당 Web UI 접속
- 이 단계에 대한 사용 가이드 페이지
-
클러스터 노드 접속: PC의 터미널 프로그램을 통해 SSH 방식으로 연결
- 이 단계에 대한 사용 가이드 페이지
-
Web UI 접속 및 관리: PC의 터미널 프로그램 및 웹 브라우저
- Ambari, Hue 등 서비스별 Web UI 페이지 접속 방법 확인
- Ranger Plugin으로 접근제어 설정
- Secure Hadoop 구성
- 이 단계에 대한 사용 가이드 페이지
-
DB 생성 및 NAS 마운트: 콘솔 및 PC의 터미널 프로그램
- Object Storage 및 버킷 생성
- MySQL Stored Procedure로 DB 생성
- NAS 마운트
- 이 단계에 대한 사용 가이드 페이지
-
애플리케이션 사용: Web UI
- Hive, Hue, Presto, Sqoop, Zeppelin UI 접속 및 사용
- 이 단계에 대한 사용 가이드 페이지
-
애플리케이션 활용: PC의 터미널 프로그램, Web UI 및 각 서비스 연동
- Cloud Hadoop 애플리케이션과 DB를 연동하여 각종 데이터 분석
- 이 단계에 대한 사용 가이드 페이지
- Apache Flume 연동
- Apache Livy로 Spark Job 제출
- Zeppelin/Jupyter Notebook 서버로 Spark Job 제출
- CDB MongoDB에서 Hive로 데이터 이전
- CDB MySQL 데이터 이전
- Hive UDF 실행
- Cloud Insight로 Hadoop 모니터링
- Hive External Table로 CSV 파일 연동
- Object Storage + Sub Account 연동
- Object Storage를 이용한 데이터 이전
- OpenTSDB 사용
- Spark 3 버전 사용
- Presto로 Hive Warehouse 데이터 분석
- Spark Scala Job 제출
- Zeppelin에서 Spark2.4 이용
이 글이 도움이 되었나요?
