1.hadoop, 하둡을 손쉽게 시작할 수 있는 호튼웍스 샌드박스를 소개합니다.

블로그 목적

• 하둡을 손쉽게 시작할 수 있는 환경인 호튼 웍스 샌드박스를 소개하고 직접 설치해 본다.

호튼웍스 샌드박스란?

• The HDP Sandbox makes it easy to get started with Apache Hadoop, Apache Spark, Apache Hive, Apache HBase, Druid and Data Analytics Studio (DAS).
  • HDP Sandbox를 사용하면 Apache Hadoop, Apache Spark, Apache Hive, Apache HBase, Druid 및 DAS (Data Analytics Studio)를 쉽게 시작할 수 있음.
  • 즉, 가상 머신에서 구동되고 하둡 단일 노드 버전이 설치 되어 있음.
• 지원
  • 윈도우
  • macOS
  • 리눅스
  • 다운로드 및 설치에 대한 정보 페이지
    • https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html

설치방법

• 하나, 오라클 Virtual Box를 내려받은 후 설치 (생략)
• 둘, Virtual Box 용 호튼웍스 샌드반스 VM파일(.ova)을 내려 받음.

  • 

    • 아래 페이지에서 내려 받음.
      •  https://www.cloudera.com/downloads/hortonworks-sandbox/hdp.html

    • 

    • 

• 셋, Virtual Box 에서 VM파일을 열고 "시작" 함.
  • 파일 > 가상시스템 가져오기 

  • 

  •  

    

  •  

    

  • 

  • 그럼, VM 을 열었으니 시작해볼까요?

  • 

  • but, 아래와 같은 에러가 나면서 실행이 안되네요..-_-;
  • 
    

    

  • 에러가 난 이유는 무엇일까요?
    • 정답
      • 윈도우의 경우, Microsoft-Hyper-V 가 켜진 경우, 다른 하이퍼바이저 사용이 안되는 구조입니다.
      • 그럼 확인해볼까요? 관리자 권한으로 cmd 을 실행하고 아래 명령을 실행시켜봅니다. (정말로 Microsoft-Hyper-V 가 켜저있는지 확인하기위해서요..)
    • 명령
      • $ dism.exe /Online /Get-FeatureInfo:Microsoft-Hyper-V

      • 

        • 즉, 상태를 보시면, 사용이네요..
    • 해결책
      • 아래 명령을 사용해서, Microsoft-Hyper-V 기능을 해제 시키겠습니다.
        • 명령
          • $ dism.exe /Online /Disable-Feature:Microsoft-Hyper-V

          • 

            •  주의) Y를 입력하는 순간 컴퓨터가 재부팅 되니, 사용하시고 있으신 프로그램들은 차근차근 종료처리 후 Y 를 입력하시면 됩니다.
    • 재부팅 후, 아래 명령을 사용해서 확인해보면, Microsoft-Hyper-V 기능이 해제 되었음을 확인할 수 있습니다.
      • 명령
        • $ dism.exe /Online /Get-FeatureInfo:Microsoft-Hyper-V

        • 

    • 그리고, 실행를 하면 아래와 같이 정상적으로 실행됩니다.

    • 

      • 여기서 한가지 센스가 있는것이...
        • 시간이 오래걸릴것을 알고 기다리는 동안, 기사를 읽으라고 URI를 던져주는..^^;
        • 그냥 제생각인데, 추가적으로 몇퍼센트 완료되었다는 프로그래스 바도 같이 주면 어떻했을까? 라는 생각이..^^
• 완료되면 아래와 같은 화면이 나옵니다.

  • 

• 넷, 부팅이 완료되면, VM 화면에서 root 계정으로 로그인 함.
  • 윈도우 putty를 사용한 접속정보
    • ssh://localhost:2222
      • 참고) 초기 Password
        • hadoop
  •  참고로, 최초접속은 아래와 같이 진행됨

  • 

    • 설명
      • 최초접속후 초기 비밀번호는 각자 설정하면됨.
• 다섯, vm 접속 후 아래 명령을 실행해 암바리(Ambari) 의 admin 계정 비밀번호를 설정
  • $ ambari-admin-password-reset
  • 
    

    

    • 설명
      • 정상적으로 세팅됨을 확인할 수 있음.
• 여섯, 윈도우에서 웹브라우저를 실행한 후 아래 URI 로 접속하자
  • 접속 URI
  • http://localhost:1080/

  • 

    • 설명
      • LAUNCH DASHBOARD 를 클릭하면 로그인 할 수 있음.
        • ID
          • admin
        • Password
          • 위에서 설정한 패쓰워드
    • 로그인 성공 시 아래와 같은 대시 보드를 확인할 수 있음.

    • 

• 일곱, 하이브(hive) / 스파크(spark) / 피그(pig) 등을 실행할 수 있음.
  • ex) 하이브(hive) 실행화면

    • 

결론

• 호튼웍스 샌드박스에 대해서 알아보고 직접 VM에 설치해 봄
• 설치결과, 하둡을 손쉽게 시작하고 다뤄보고 싶다면, 호튼웍스 샌드박스를 추천함.
• 오늘도 호튼웍스 샌드박스에 대한 지식 및 설치방법에 대해서 정리 완료! 감사합니다.