Zeppelin에서 Spark 2.4 이용
  • PDF

Zeppelin에서 Spark 2.4 이용

  • PDF

이 가이드에서는 Cloud Hadoop 1.5 버전 이하의 Zeppelin에서 이용 중인 Spark 2.3 버전을 Spark 2.4로 변경하여 이용하는 방법을 설명합니다.

Zeppelin에서 Spark 2.4를 이용하기 위해서 Zeppelin 버전도 업그레이드 작업이 필요합니다.
자세한 내용은 Zeppelin에서 제공하는 Supported Interpreters를 참고해 주십시오.

Zeppelin 업그레이드와 Spark 2.4 클라이언트 설치

  1. Ambari UI에 접속한 후 Zeppelin Notebook > [ACTIONS] > Stop을 차례대로 클릭하여 서비스를 중지해 주십시오.

    • Ambari UI 접속 및 사용에 대한 자세한 내용은 Ambari UI 가이드를 참고해 주십시오.
      chadoop-4-8-008_ko.png
  2. 엣지 노드에 SSH로 접속한 후, sudo su - 명령어를 입력하여 root 계정으로 전환해 주십시오.

$ sudo su - 
  1. 다음 명령어로 Zeppelin 0.8.0 버전을 제거해 주십시오.

    rpm -e `rpm -qa | grep zeppelin`
    
  2. 다음 명령어를 사용하여 Zeppelin 0.8.1 버전을 설치해 주십시오.

    rpm -ivh http://repo.ncloud.com/hadoop/HDP-3.1.0.0/zeppelin/zeppelin_3_1_0_0_78-0.8.1.3.1.0.0-78.noarch.rpm
    
  3. 다음 명령어를 사용하여 Spark2.4 클라이언트를 설치해 주십시오.

    rpm -ivh http://repo.ncloud.com/hadoop/HDP-3.1.0.0/spark2/spark2-client-2.4.7-1.noarch.rpm
    
  4. Ambari UI에 접속한 후, Zeppelin Notebook > [ACTIONS] > Start를 차례대로 클릭해 주십시오.
    chadoop-4-8-009_ko.png

  5. Zeppelin Notebook UI 접속한 후 사용자 계정의 Interpreter 메뉴를 클릭해 주십시오.

    • Zeppelin Notebook UI 접속 및 사용에 대한 자세한 내용은 Zeppelin 사용 가이드를 참고해 주십시오.
      chadoop-4-8-010_ko.png
  6. [edit] 버튼을 클릭한 후, spark2의 SPARK_HOME Properties에 다음과 같이 환경 변수를 설정하고, 하단의 [save] 버튼을 클릭해 주십시오.

/usr/hdp/3.1.0.0-78/spark2.4.7-client

chadoop-4-8-011_ko.png

  1. spark2의 [restart] 버튼을 클릭하여 인터프리터를 재시작해 주십시오.
    chadoop-4-8-012_ko.png

Zeppelin의 Spark 버전 확인

Zeppelin의 새 노트를 생성하여 현재의 Spark 버전을 확인할 수 있습니다.

Zeppelin의 새 노트를 생성하여 Spark 버전을 확인하는 방법은 다음과 같습니다.

  1. Zeppelin Notebook UI 접속한 후 Create New Note 메뉴를 클릭하여 새 노트 생성 정보를 설정한 후 [Create] 버튼을 클릭해 주십시오.

    • Zeppelin Notebook UI 접속 및 사용에 대한 자세한 내용은 Zeppelin 사용 가이드를 참고해 주십시오.
      chadoop-4-8-013_ko.png
  2. 스크립트 입력 창에 다음 명령어를 입력하여 현재 Spark 버전을 확인해 주십시오.

%spark2
sc.version

chadoop-4-8-014_ko.png


이 글이 도움이 되었나요?