Cloud Hadoop 문제 해결

Cloud Hadoop 서비스를 이용하면서 다음과 같은 문제를 겪을 수 있습니다. 문제별 원인과 해결 방법을 확인하고 적절하게 조치해 주십시오.

OOM (Out of Memory) 발생

OOM (Out of Memory)이 발생하여 서버 hang이 발생했습니다.

원인

시스템 메모리 사용량이 급격히 증가하면, 커널의 OOM Killer가 동작하여 메모리를 많이 사용하는 프로세스를 종료합니다. 이로 인해 커널 프로세스가 종료될 경우, 서버 hang이 발생할 수 있습니다.

해결 방법

서버 hang 발생 시 조치 방법
고객 지원으로 VM 재부팅을 요청해 주십시오.

서버 hang 방지 방법

• 노드 상태를 주기적으로 확인할 수 있도록 ping 체크 및 프로세스 감시용 모니터링 배치를 구성해 주십시오.
• 작업(Job)을 수행하는 엣지 노드 또는 마스터 노드에 대해 스케일아웃을 수행하여 부하를 분산시켜 주십시오.
• 노드 스펙을 변경하여 메모리 용량을 스케일업해 주십시오.

설정 변경 후 클러스터 동작 오류

Ambari에서 설정을 변경한 후 클러스터가 정상적으로 동작하지 않습니다.

원인

Ambari를 통해 설정을 변경하면, 관련된 설정들이 의도치 않게 영향을 받아 클러스터가 비정상적으로 동작할 수 있습니다.

해결 방법

Ambari에서는 클러스터의 설정과 Version 번호가 수정 시간 순으로 저장됩니다. 클러스터가 비정상적으로 동작하기 전 버전으로 롤백하여 재기동할 수 있습니다.

HDFS 설정을 이전 버전으로 롤백하는 방법을 기준으로 설명합니다.

1. Ambari에서 Services > HDFS > Configs 탭을 클릭해 주십시오.
2. 버튼을 클릭하여 이전 버전과 비교해 주십시오.
   
3. Version 2(정상 동작 설정)와 Version 3(오동작 설정)의 비교 화면을 확인해 주십시오.
   
4. 변경할 버전인 Version 2 를 클릭해 주십시오.
5. 이전 설정값으로 롤백하려면 [MAKE CURRENT] 버튼을 클릭해 주십시오.
   
6. 신규 Version으로 넘버링되었는지 확인한 후 [RESTART] 버튼을 클릭해 주십시오.
   

Ambari 접속 계정의 패스워드 분실

Ambari 접속 계정의 패스워드를 잊어버렸습니다.

원인

클러스터 생성 시 사용자가 입력한 클러스터 관리자 계정 및 패스워드 정보를 잊어버린 경우입니다.

해결 방법

클러스터 관리자 패스워드 초기화를 참조하여 패스워드를 초기화해 주십시오.

Zeppelin Notebook 접속 오류

Spark 클러스터를 이용 중인데 Zeppelin Notebook에 접속이 되지 않습니다.

원인

• Zeppelin Notebook이 동작 중이지 않습니다.
• SSH 터널링이 잘못 설정되었습니다.

해결 방법

• Ambari Web UI에 접속하여 Zeppelin Notebook이 정상적으로 동작 중인지 확인해 주십시오.
  • Web UI 참조
• Zeppelin Notebook이 정상 동작 중인데도 접속되지 않는다면 터널링 설정을 점검해 주십시오.
  • 터널링을 이용한 Web UI 접속 가이드 참조

보안 취약점 보고

security.datanode.protocol.acl 설정이 *으로 설정되어 있어 보안 취약점으로 보고되었습니다.

원인

security.datanode.protocol.acl는 데이터 노드에 접근할 수 있는 사용자 및 그룹을 지정하는 프로퍼티 키 값입니다. 기본값으로 '*'가 설정되어 있어 모든 사용자의 접근을 허용하고 있으나, 권한을 직접 변경할 수 있습니다.

해결 방법

Cloud Hadoop 2.3 버전부터 security.datanode.protocol.acl 설정을 hdfs hadoop으로 제공하고 있습니다.

Cloud Hadoop 하위 버전을 생성하였거나 *으로 운영 중인 클러스터는 데이터노드에 접근할 수 있는 사용자 및 그룹의 설정 규칙을 다음과 같이 수정할 수 있습니다.

• 사용자와 그룹은 공백( )으로 구분
• 사용자 목록, 그룹 목록은 콤마(,)로 구분

<예시>
alice와 bob 유저를 허용하고, users와 wheel 그룹을 허용하는 설정 규칙은 다음과 같습니다.
alice,bob users,wheel

Cloud Hadoop에서 자동으로 생성되는 각 컴포넌트의 사용자는 hadoop 그룹에 포함되어 있으므로 다음과 같이 설정할 수 있습니다.
security.datanode.protocol.acl=hdfs,custom_user1,custom_user2 hadoop,custom_group1,custom_group2

둘러볼 콘텐츠

네이버 클라우드 플랫폼에서는 고객에게 도움을 주기 위해 다양한 방식으로 정보를 제공하고 있습니다. Cloud Hadoop 서비스 이용 시 활용할 수 있는 유용한 콘텐츠를 안내합니다.

• 자주 하는 질문: Cloud Hadoop 자주 하는 질문
• API 가이드: Cloud Hadoop API 가이드
• 네이버 클라우드 플랫폼 블로그: Cloud Hadoop - Apache Iceberg, Apache Ni-fi 제공
• 네이버 클라우드 플랫폼 블로그: Notebook 기능으로 더욱 강력해진 빅데이터 분석 플랫폼, Cloud Hadoop! 💻