Ncloud TensorFlow Server 생성 가이드 (Public Subnet on VPC)

VPC 환경에서 이용 가능합니다.

1. Ncloud TensorFlow Server 소개

Ncloud TensorFlow Server는 데이터 분석가들이 가장 많이 사용하는 TensorFlow를 비롯하여 대표적인 Deep Learning과 Machine Learning 패키지들을 설치형으로 제공하는 서비스입니다.

데이터 전처리, 시각화, 자연어 처리, Machine Learning과 Deep Learning 패키지들이 제공되기 때문에 대부분의 분석 업무를 진행할 수 있으며, 필요한 경우 Jupyter Notebook에서 GUI나 콘솔 명령어를 사용하여 손쉽게 패키지를 추가로 설치하거나 업그레이드할 수 있습니다.

웹 기반의 Jupyter Notebook을 통해 어느 곳에서나 동일한 분석 환경에서 업무를 수행할 수 있게 해 주며, 분석 결과를 바로 바로 확인하고 다른 사람에게 쉽게 공유할 수 있게 해 줍니다.

또한 관리 스크립트를 제공하여 터미널 환경에서 간편하게 Jupyter 프로세스를 관리할 수 있게 해 줍니다.

더불어 분석 업무를 처음 시작하려는 초보 분석가를 위해 데이터 탐색과 시각화 뿐만 아니라, Scikit-Learn을 이용한 회귀, 분류, 클러스터링 같은 Machine Learning과 Keras 및 TensorFlow를 이용한 Deep Learning 회귀와 분류 예제를 제공하고 있습니다.

2. 사용하기 전에 자주하는 질문

Q. Ncloud TensorFlow Server는 무엇인가요?

• TensorFlow를 비롯한 대표적인 Deep Learning 및 Machine Learning 패키지와, 코드를 작성할 수 있는 웹 기반의 Jupyter Notebook을 제공하여 빠르게 Deep Learning 및 Machine Learning을 구현할 수 있게 해 주는 서비스입니다.
• "Ncloud Tensorflow Server"는 구글 브레인팀에서 개발한 오픈소스 머신러닝 소프트웨어 라이브러리인 Tensorflow를 이용하고 있습니다.

Q. 어떤 패키지들이 제공되며, 제공하는 패키지들만 사용할 수 있나요?

• 주요 패키지는 tensorflow, Keras, Pytorch 입니다.
• Anaconda라는 패키지 관리도구를 사용하기 때문에, conda 바이너리를 이용해서 다른 패키지를 추가로 설치할 수 있습니다.
• 패키지 설치 및 관리에 대해서는 Jupyter Notebook 사용 가이드의 패키지 관리를 참조하십시오.

Q. 파이썬 외에 Java나 다른 언어를 사용할 수 있나요?

• TensorFlow에서 Java나 Go 등의 API도 제공하지만 안정성을 보장하지 않기 때문에 Python을 사용하기를 권해드립니다.

Q. 제공되는 서버 타입들은 어떤 것들이 있나요?

• 네이버 클라우드 플랫폼이 제공하는 Ncloud TensorFlow Server 타입은 Standard, High Memory, GPU로 나눠집니다. 각각의 서버 타입별 특징은 아래와 같습니다.

1. Standard: 다양한 IT 비즈니스에 활용할 수 있는 네이버 클라우드 플랫폼 서비스의 표준 서버입니다. 균형 잡힌 서버 사양을 제공하며, 높은 가용성과 안정성을 자랑합니다.
2. High Memory: 64GB 이상의 고 메모리 서버로, 메모리 성능에 영향을 많이 받는 애플리케이션을 운영할 때 적합합니다. High Memory 서버는 최대 10대까지 생성할 수 있으며, 고객지원에 요청하시면 대수 제한을 조정해 드립니다.
3. GPU: V100, T4 스펙의 GPU가 장착된 서버로, 빠른 데이터 처리를 하는 환경에 적합합니다. 최대 5대까지 생성할 수 있으며, 고객지원에 요청하시면 대수 제한을 조정해 드립니다.

Q. Ncloud TensorFlow Server를 생성했는데 코드 작성은 어디서 하나요?

• TensorFlow 코드는 Jupyter Notebook에서 작성할 수 있습니다. ACG에 18888 포트를 추가한 후 웹 브라우저에서 [공인 IP 주소:18888]로 접속하시면 됩니다.
• 'samples' 폴더에 데이터 처리와 시각화 및 TensorFlow 예제 파일들이 있으니 데이터 분석을 처음 시작하는 분들은 참고하시면 됩니다.

Q. TensorBoard는 어떻게 사용하나요?

• ACG에 18889 포트를 추가한 후 웹 브라우저에서 [공인 IP 주소:18889]로 접속하시면 됩니다('4.Ncloud TensorFlow Server 생성 후 Jupyter 접속환경 설정' 참고).
• ACG에 18889 포트를 추가한 후 웹 브라우저에서 [공인 IP 주소:18889]로 접속하시면 됩니다('4.Ncloud TensorFlow Server 생성 후 Jupyter 접속환경 설정' 참고).
• Jupyter 기본 경로(/home/ncp/workspace) 아래에 tensorboard 디렉토리가 만들어져 있으므로, tensorflow 코드에서 tensorboard 다렉토리를 로그 디렉토리로 지정하여 사용하면 됩니다.

Q. Jupyter Notebook에 접속이 안 됩니다.

• Jupyter Notebook을 사용하기 위해서는 공인 IP 주소를 신청하여 서버에 할당해야 하며, ACG에 18888 포트가 추가되어 있어야 합니다('4.Ncloud TensorFlow Server 생성 후 Jupyter 접속환경 설정' 참고).
• 공인 IP 주소와 ACG를 확인한 후에도 접속되지 않는 경우 Jupyter 프로세스가 정지한 상태일 수 있으니, 터미널에서 'jup restart' 명령어를 실행하여 프로세스를 다시 시작하십시오('Jupyter 프로세스 관리' 참고).

Q. (GPU Only) tensorflow 코드를 실행하는데 'out of memory' 메시지가 출력되면서 실패합니다.

• 방법1. 여러코드를 동시에 실행하는 경우, 먼저 실행된 코드에서 GPU메모리를 모두 점유하게 되면 OOM 이슈가 발생할 수 있습니다. 먼저 실행된 코드를 종료(Shutdown)한 뒤, 재시도 합니다.
• 방법2. tensorflow 공식 문서에서 가이드하는 방법으로 아래와 같이 GPU메모리는 제한하는 코드를 추가 합니다.
• 기본적으로 텐서플로는 모든 GPU의 거의 모든 메모리를 프로세스가 볼 수 있도록 매핑합니다(CUDA_VISIBLE_DEVICES에 포함되었다고 가정합니다). 이는 메모리 단편화를 줄여서 상대적으로 귀한 GPU 메모리 리소스를 장치에서 보다 효율적으로 사용할 수 있게 합니다. tf.config.experimental.set_visible_devices 메서드를 사용하여 텐서플로에서 접근할 수 있는 GPU를 조정할 수 있습니다.

gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
  # 텐서플로가 첫 번째 GPU만 사용하도록 제한
  try:
    tf.config.experimental.set_visible_devices(gpus[0], 'GPU')
  except RuntimeError as e:
    # 프로그램 시작시에 접근 가능한 장치가 설정되어야만 합니다
    print(e)

• 어떤 경우에는 프로세스가 가용한 메모리의 일부에만 할당되도록 하거나 프로세스의 요구량만큼 메모리 사용이 가능할 필요가 있습니다. 텐서플로에서는 이를 위해 두 가지 방법을 제공합니다.

첫 번째 방법은 tf.config.experimental.set_memory_growth를 호출하여 메모리 증가를 허용하는 것입니다. 이는 런타임에서 할당하는데 필요한 양만큼의 GPU 메모리를 할당합니다: 처음에는 메모리를 조금만 할당하고, 프로그램이 실행되어 더 많은 GPU 메모리가 필요하면, 텐서플로 프로세스에 할당된 GPU 메모리 영역을 확장합니다. 메모리 해제는 메모리 단편화를 악화시키므로 메모리 해제는 하지 않습니다. 특정 GPU의 메모리 증가를 허용하려면 다음 코드를 텐서나 연산 앞에 입력하세요.

gpus = tf.config.experimental.list_physical_devices('GPU')
if gpus:
  try:
    tf.config.experimental.set_memory_growth(gpus[0], True)
  except RuntimeError as e:
    # 프로그램 시작시에 메모리 증가가 설정되어야만 합니다
    print(e)

3. Ncloud TensorFlow Server VM 생성

사전작업 1. VPC생성

콘솔 > VPC에서 VPC를 생성합니다. VPC는 최소 1개가 필요합니다. 하나의 VPC안에 여러개의 Ncloud Tensorflow Server를 생성할 수 있습니다.

사전작업 2. Subnet 생성 (public)

특정 VPC환경 내부에서만 접속이 가능하도록 제한하지 않고, 특정 VPC 외부에서도 Ncloud Tensorflow Server에 접속이 가능하도록 구성할 수 있습니다. 생성된VPC에 Public Subnet을 생성한 뒤 Ncloud Tensorflow Server에 공인IP를 할당합니다.

Internet Gateway 전용 여부 속성 값을 Y (Public) 로 설정하여 Subnet을 생성합니다.

Step 1. 콘솔 접속

Console 에 접속해서 Server 메뉴를 선택합니다.

• 서버를 생성하려면 [서버 생성] 버튼을 클릭합니다.

Step 2. Ncloud Tensorflow Server VM 설정

VPC, Subnet, 스토리지 종류, 서버 타입, 요금제를 선택하고, 서버 이름을 입력합니다.

• VPC: 앞서 생성한 VPC를 선택합니다. (예: vpc-tensorflow)

• Subnet: Public Subnet를 선택합니다. (예: vpc-sub-pub-tensorflow)

• 스토리지 종류: 부팅 스토리지로 사용할 스토리지 종류를 선택합니다.

  • 고성능 I/O가 필요한 서비스에는 SSD를, 일반적인 서비스에는 HDD를 선택하세요. 단, 부팅 스토리지가 SSD인 경우에만 추가 스토리지로 SSD를 이용할 수 있습니다.

• 서버 타입: 원하는 서버 타입을 선택합니다.

  • 일부 서버 스펙은 부팅 디스크 타입에 따라 지원되지 않을 수 있습니다.
  • 사용하는 목적에 따라 Standard, High Memory, GPU 서버 타입 중 하나를 선택하세요.

• 요금제 선택: 요금제는 월요금제 또는 시간 요금제 중 선택할 수 있습니다.

• 서버 이름: 서버 이름을 입력합니다.

  • 고객이 서버를 구별하기 위한 명칭으로, 중복해서 사용할 수 없습니다.

• Network Interface: Network Interface를 설정합니다. 서버 당 최대 3개 생성할 수 있습니다.

• 공인 IP: VM을 생성하면서 자동으로 공인IP를 할당하고자 하면 [새로운 공인 IP 할당] 버튼을 선택합니다.

  • 서버 생성시 공인 IP를 함께 생성하시려면 Subnet 타입은 Public Subnet, 서버 개수는 1개여야 합니다.

• 다음: 서버 설정을 마친 후 [다음] 버튼을 클릭합니다.

Step 3. 인증키 설정

보유하고 있는 인증키가 있는 경우 ‘보유하고 있는 인증키 이용’을 선택하고, 없는 경우 아래의 절차대로 새로운 인증키를 생성합니다.

• ① 새로운 인증키 생성을 선택합니다.

• ② 인증키 이름을 입력합니다.

• ③ [인증키 생성 및 저장] 버튼을 클릭하여 로컬 PC에 인증키 파일을 저장합니다.

  • 새로운 인증키를 발급받습니다.
  • 저장 후 인증키는 고객의 PC 안전한 위치에 보관해 주십시오.
  • 인증키는 최초의 관리자 비밀번호를 가져올 때 이용됩니다.

• ④ [다음] 버튼을 클릭합니다.

Step 4. 방화벽 설정

보유하고 있는 ACG를 이용하여 방화벽을 설정할 수 있습니다.

• ACG는 필수로 선택해야 하며, VPC를 생성하면 기본으로 제공하는 ‘VPC default ACG’를 포함하여 보유하고 있는 ACG 중에서 하나를 선택합니다.

  • 보유하고 있는 ACG는 최대 5개까지 선택할 수 있습니다.
  • 필수로 ACG를 선택해야 [다음] 버튼이 활성화되어 설정을 진행할 수 있습니다.

• 설정하고자하는 ACG를 선택하고 [다음] 버튼을 클릭합니다.

Step 5. 최종 확인

설정한 내용을 최종 확인합니다.

• 최종 확인: 서버 이미지, 서버, 인증키, ACG가 정상적으로 설정되었는지 확인합니다.

• [서버 생성]: 최종 확인 후 버튼을 클릭해 서버를 생성합니다.

  • 서버가 생성되기까지는 수 분에서 수십 분이 소요됩니다.

Step 6. 서버 목록에서 확인

생성한 서버를 리스트에서 확인합니다.

• 서버가 생성되고 패키지가 설치 완료되어 서버 상태가 운영중이 될 때까지 대기합니다.

4. Ncloud TensorFlow Server 생성 후 Jupyter 접속환경 설정

공인 IP 주소 사용 신청

Ncloud TensorFlow Server를 생성한 뒤, 인터넷 브라우저를 통해 Jupyter Notebook에 접속하려면 반드시 Public Subnet을 선택한 뒤 VM을 생성해야며, 공인 IP 주소를 이용해서 Jupyter에 접속해야 합니다. (공인 IP 주소 사용에 대한 요금이 별도로 부과됩니다.)

VPC > Server > Public IP 로 이동하여 공인 IP를 생성합니다.

• ① 공인 IP를 할당 받으려면 [공인 IP 신청] 버튼을 클릭합니다.

• ② 적용 서버 선택에서 공인 IP 주소를 할당할 Ncloud tensorflow Server를 선택합니다.

ACG 설정

ACG에 터미널 접속 SSH('TCP/22') 및 Jupyter Notebook('TCP/18888') 규칙과 필요한 경우 TensorBoard('TCP/18889') 규칙을 추가합니다.

서버 생성 시 규칙을 이미 추가한 경우는 이 단계의 ACG 설정 작업을 수행할 필요가 없습니다.

• ① 좌측 메뉴에서 ACG 메뉴를 선택합니다.

• ② 서버 생성 시 선택한 ACG를 선택하고 상단의 [ACG 설정] 을 선택합니다.

• ③ ACG 규칙 설정에서 프로토콜, 접근 소스, 허용 포트를 입력하고 생성합니다.

  • 프로토콜: TCP, UDP, ICMP에서 선택
  • 접근 소스: IP 주소 또는 ACG명 입력
  • 허용 포트: 단일 포트 또는 범위 지정
  • 터미널 접속을 위해서는 접속하려는 서버의 ACG에 SSH 'TCP/22'에 대한 규칙이 설정되어 있어야 하고, jupyter notebook 사용을 위해서는 'TCP/18888' 규칙이, TensorBoard 사용을 위해서는 'TCP/18889' 규칙이 추가로 설정되어 있어야 합니다.
  • 규칙을 추가하려면 프로토콜, 접근 소스, 허용 포트를 기재하고 [추가] 를 클릭합니다.

• ④ 설정이 완료되면 [적용] 버튼을 클릭합니다.

• ⑤ 상세 정보 탭에서 상세 정보를 확인할 수 있으며 규칙 보기 탭에서는 설정한 규칙을 확인할 수 있습니다.

Jupyter Notebook 작동 확인

공인 IP, ACG 를 설정 후, Jupyter Notebook에 접속할 수 있습니다.

• Jupyter Notebook의 초기 비밀번호는 VM의 서버 이름 입니다. 안전한 사용을 위해서 비밀번호를 변경 후 사용하는 것을 권장합니다.

  • Jupyter Notebook 비밀번호를 변경하는 방법은 Jupyter 비밀번호 변경을 참고하세요.

• Jupyter Notebook에 접속하는 주소는 http://{생성한-공인IP}:{18888} 입니다.

  • 예를들어 생성한 공인 IP가 101.101.220.51 일 때, 접속 url은 http://101.101.220.51:18888 입니다.

5. Jupyter Notebook 관리

터미널 프로그램(Putty 등)으로 Ncloud TensorFlow Server VM에 접속해서 Jupyter의 비밀번호를 변경해야 합니다.

제공하는 관리 스크립트를 통해 손쉽게 비밀번호를 변경하고 Jupyter 프로세스를 관리할 수 있습니다.

관리자 비밀번호 확인

터미널 프로그램(Putty 등)으로 Ncloud TensorFlow Server VM에 접속하려면 관리자 비밀번호를 알아야 합니다.

• ① 좌측 메뉴에서 Server 메뉴를 선택합니다.

• ② 해당 서버를 선택하고, 서버 관리 및 설정 변경에서 관리자 비밀번호 확인을 선택합니다.

• ③ [마우스로 파일을 끌고 오거나 여기를 클릭하세요] 버튼을 클릭해 서버 생성 시 개인 PC에 저장한 인증키 파일(.pem)을 첨부합니다.

• ④ 첨부 후 [비밀번호 확인] 버튼을 클릭하면 터미널 프로그램으로 최초 서버 접속 시 사용할 비밀번호를 얻을 수 있습니다.

  • 서버에 접속 후 관리자가 기억할 수 있는 비밀번호로 변경하여 사용하는 것을 권장합니다.

터미널 프로그램으로 VM 접속 방법

관리자 비밀번호로 Ncloud TensorFlow Server VM에 접속할 수 있습니다.

• ① Ncloud TensorFlow Server에 할당한 공인 IP를 입력합니다.

• ② Ncloud TensorFlow Server VM의 관리자 비밀번호를 입력합니다.

• ① 터미널 프로그램을 실행합니다.

• ② ssh명령어를 사옹해 VM 접속을 요청하고 사용자 정보 및 암호를 입력하고 로그인합니다.

  • VM접속을 위한 명령어 입력 ssh root@${공인-IP} (예를들어, 공인IP가 101.101.220.51 인 경우, ssh root@101.101.220.51)
  • login as: root
  • password: 위에서 확인한 관리자 비밀번호 입력

• ③ 로그인 후에는 root 계정의 비밀번호를 기억할 수 있는 비밀번호로 변경할 것을 권장합니다.

  • 'passwd root' 명령어를 입력한 후 새 비밀번호를 입력합니다.

Jupyter 비밀번호 변경

Jupyter Notebook에서 사용할 초기 비밀번호는 서버 이름으로 설정되어 있으며, 보안 침해 방지를 위해서 제공하는 스크립트를 통해 비밀번호를 변경해 주십시오.

• ① 터미널에서 'jup passwd'를 입력하여 비밀번호를 변경합니다.
  • 최초 비밀번호 확인: 콘솔 > 서버 > 서버 리스트에서 ‘서버 이름’과 동일
  • 비밀번호는 영문, 숫자, 특수문자를 모두 포함해야 하며, 8자 이상이어야 합니다.
  • 비밀번호 변경 스크립트를 실행하는 경우 자동으로 Jupyter 프로세스가 재시작됩니다.

Jupyter 프로세스 관리

환경 설정 파일을 변경했을 경우 등 Jupyter 프로세스를 재시작할 필요가 있는 경우, 제공하는 스크립트를 통해 프로세스를 정지하거나 재시작할 수 있습니다.

• ① Jupyter 프로세스 정지: $ jup stop

• ② Jupyter 프로세스 시작: $ jup start

• ③ Jupyter 프로세스 정지&시작: $ jup restart

TensorBoard 프로세스 관리

서버를 생성하고 처음으로 TensorBoard 프로세스를 시작하거나 프로세스를 재시작할 필요가 있는 경우, 제공하는 스크립트를 통해 프로세스를 시작하거나 정지할 수 있습니다.

• ① TensorBoard 프로세스 정지: $ jup tb-stop

• ② TensorBoard 프로세스 시작: $ jup tb-start