데이터 공급

데이터 공급을 신청하는 방법과 데이터박스 생성 시 선택하지 못한 추가 데이터를 신청하는 방법, 약정된 기간 동안 최신 데이터를 제공받을 수 있는 인사이트 옵션 신청 방법을 설명합니다.

데이터 공급 신청

데이터박스 접속 설정을 완료한 후, 신청한 데이터를 제공 받으려면 데이터 공급 신청을 수행합니다. 데이터 공급 신청 후에는 외부망과의 통신이 차단되고 사용자가 신청한 데이터가 제공됩니다.
데이터 공급 신청 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼의 콘솔에서 Services > Big Data & Analytics > Cloud Data Box > My Space 메뉴를 차례대로 클릭해 주십시오.
2. 생성된 데이터박스를 선택하고 [데이터 공급 신청] 버튼을 클릭해 주십시오.
   
3. 데이터 공급 신청 창이 나타나면, 데이터박스 이름을 입력하고 [확인] 버튼을 클릭해 주십시오.
4. 데이터 공급이 모두 완료되는데는 5~10분 정도 시간이 소요되며, 공급이 완료되면 데이터박스 상태가 데이터공급신청에서 데이터공급완료로 변경됩니다.

데이터 추가

새로운 반기 데이터를 추가할 수 있습니다. 데이터 공급이 진행 중인 경우에는 데이터 추가를 신청할 수 없으며, 데이터 공급이 모두 완료된 후에 신청 가능합니다.
최신 반기 데이터를 데이터를 추가하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼의 콘솔에서 Services > Big Data & Analytics > Cloud Data Box > My Space 메뉴를 차례대로 클릭해 주십시오.
2. 데이터를 추가할 데이터박스의 [서버 상세정보 보기] 를 클릭해 주십시오.
   
3. [데이터] 탭의 [추가] 버튼을 클릭해 주십시오.
   
4. 추가할 데이터를 선택하고 [확인] 버튼을 클릭해 주십시오.
5. 데이터 박스의 상태가 데이터공급완료인 상태에서 데이터 추가를 한 경우, 공급이 모두 완료되는데는 5~10분 정도 시간이 소요되며, 데이터 추가 공급이 완료되면 데이터 제공 상태가 데이터조회 가능 상태로 변경됩니다.
   데이터 박스의 상태가 인프라 생성완료인 상태에서 데이터 추가를 한 경우에는 데이터 공급 신청을 해야 데이터가 제공됩니다.

인사이트 옵션

인사이트 옵션은 약정한 기간(12개월) 동안 2년 전 데이터부터 전월까지의 최신 데이터가 제공되는 기능입니다. 인사이트 옵션을 신청한 후에는 신청일 이후 12개월 이내에 데이터박스를 반납하는 경우 위약금이 발생됩니다. 인사이트 옵션 데이터를 이용하기 위해서는 외부망과의 통신이 차단된 상태여야 하므로 데이터 공급 신청을 먼저 완료해야 합니다.

인사이트 옵션 신청

인사이트 옵션을 신청하는 방법은 다음과 같습니다.

1. 네이버 클라우드 플랫폼의 콘솔에서 Services > Big Data & Analytics > Cloud Data Box > My Space 메뉴를 차례대로 클릭해 주십시오.
2. 데이터 공급 신청이 완료되었는지 확인해 주십시오.
   • 데이터 공급 신청이 완료 상태여야 [업그레이드] 버튼이 활성화됩니다.
3. 생성된 데이터박스를 선택해 주십시오.
4. [업그레이드] > [인사이트 옵션 신청] 버튼을 차례대로 클릭해 주십시오.
   
5. 인사이트 옵션 신청 창이 나타나면 제공되는 데이터 기준 및 위약금 안내를 확인하고 [인사이트 옵션 신청] 버튼을 클릭해 주십시오.
6. TensorFlow 도커와 Jupyter 재시작 안내 문구를 확인하고 [확인] 버튼을 클릭해 주십시오.
   • 인사이트 옵션 데이터 공급이 모두 완료되는데는 5~10분 정도 시간이 소요됩니다.
   • 데이터 공급이 완료되면 데이터박스 상태가 데이터공급완료로 변경됩니다.
7. 인사이트 옵션 데이터가 Ncloud TensorFlow Server 및 하둡 노드에 마운트되어 제공되는 것을 확인한 후, Ncloud TensorFlow Server에 접속하여 도커 및 Jupyter를 재시작해 주십시오. 도커 및 Jupyter를 재시작해야 Jupyter Notebook에서 디렉터리의 데이터를 확인할 수 있습니다.
   • TensorFlow CPU 재시작

     docker restart tf-server-mkl  
     

   • TensorFlow GPU 재시작

     docker restart tf-server-gpu
     

   • Jupyter Notebook 재시작

     jup restart  또는
     jup stop 실행 후 jup start
     

제공된 데이터를 하둡 클러스터에 업로드

신청한 기본 데이터나 인사이트 옵션 데이터가 필요한 경우, 하둡 클러스터로 업로드하여 사용해야 합니다. 업로드하기 전에 하둡 잔여 공간을 충분히 확보한 후에 distcp를 이용하여 업로드해 주십시오.

1. PuTTy로 Cloud Hadoop 엣지 노드에 접속한 후 하둡에 업로드할 데이터를 확인해 주십시오.
   (shopping20y1h은 예시)

   $ ls -al /mnt/shopping20y1h/shopping
   $ find /mnt/shopping20y1h -type f | wc -l 
   $ du -sh /mnt/shopping20y1h
   

   

2. 하둡에 distcp를 이용하여 데이터를 업로드해 주십시오.

   • 하둡 클러스터 이름은 nv0###-hadoop 형태이며, NCP 콘솔에서 확인하거나 접속한 하둡 노드 이름에서 확인할 수 있습니다.
   • 신청한 데이터 볼륨 하위(이 예시에서/mnt/shopping20y1h/)에 있는 .snapshot 디렉터리를 함께 업로드할 경우 에러가 발생할 수 있으므로 데이터 디렉터리만 업로드해 주십시오.
   • hadoop-distcp.sh was not found 에러가 발생하는 경우 무시해 주십시오.
   • 쇼핑 반기 데이터는 약 60~70GB 정도이며 하둡에 업로드하는데 약 10분 정도 소요됩니다.
   • 검색 반기 데이터는 5~8TB 정도로 용량이 크기 때문에 하둡에 업로드하는데 약 5~10 시간 정도 소요됩니다(소요 시간은 하둡 노드 스펙에 따라 달라질 수 있음).
     $ hadoop distcp file:///mnt/shopping20y1h/shopping hdfs://nv0###-hadoop/user/ncp/shopping20y1h

3. 하둡에 업로드된 데이터를 확인해 주십시오.

   $ hdfs dfs -ls /user/ncp/shopping20y1h 
   $ hdfs dfs -count /user/ncp/shopping20y1h
   $ hdfs dfs -du -h /user/ncp