5.hadoop, 하둡의 핵심 기술관련 리소스관리자 및 스케줄러 에 대해서 정리해보자.

블로그 목적

• 하둡의 핵심 기술관련 리소스관리자 및 스케줄러 에 대해서 정리해본다.

하둡의 스케줄링 시스템에 대해서 알아보자.

• YARN(Yet Another Resource Negotiator) 란 무엇인가?
  • 하둡에서 가장 효율적인 방법으로 리소스를 할당하고, 사용자 어플리케이션을 스케줄링하는 시스템.
  • 스케줄링과 리소스관리로 데이터 지역성을 극대화하고 계산량이 많은 어플리케이션이 리소스를 독점하지 않게 제어하는 기능을 함.
  • 교체 가능한 스케줄링 시스템을 지원함.
  • 공용 리소스 시스템의 스케줄링에 필요한 기본적인 환경 설정을 스케줄러에 입력할 수 있음.
    • 사용자당 리소스 제한
    • 작업 대기열당 리소스 할당량 
    • 기타 등등
  • 클러스터의 리소스를 컨테이너(Container)로 분할함.
    • 컨테이너의 정의
      • CPU 코어수
      • 메모리 용량
      • 추가리소스 포함
        • 추가 CPU 코어
        • 추가 메모리
        • GPU
        • 스토리지
  • 데이터 지역성도 리소스로 제공함.
    • 이 특징이, 다른 워크 플로우 스케줄러와 다른점.
    • 즉, YARN 어플리케이션은 특정 컨테이너가 특정 데이터를 저장하고 있는 서버에서 실행되도록 요청할 수 있음.
  • 참고 페이지
    • https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

    • 

• 그럼, 하둡 아키텍처에서 YARN 을 그림으로 도식화해서 확인해보자.

  • 

    • 설명
      • 하둡 아키텍처
        • HDFS / YARN / 다양한 처리 엔진(MapReduce/Spark/Tez) 을 포함
• 그럼, YARN 의 운영 방법은 ?
  • 클러스터의 리소스를 컨테이너로 관리함으로써, 분산 시스템을 원활하게 운영하고, 클러스터의 리소스를 다수의 어플리케이션에 공평한 방식으로 공유해줌.

결론

• YARN(Yet Another Resource Negotiator) 은 하둡에서 가장 효율적인 방법으로 리소스를 할당하고, 사용자 어플리케이션을 스케줄링하는 시스템.
• YARN 의 운영 방법은 클러스터의 리소스를 컨테이너로 관리함으로써, 분산 시스템을 원활하게 운영하고, 클러스터의 리소스를 다수의 어플리케이션에 공평한 방식으로 공유해줌.
• 오늘도 하둡 아키텍처 중 YARN 에 대해서 공부하고 정리완료! 감사합니다.

---

• 나의 목표 및 다짐을 항상 내곁에 두기.
  • 목표
    • 나의 강점을 바탕으로 나의 일을 잘해냄으로써 타인과 사회를 아릅답게 만든다.
      • 현재 내가 가진 능력으로 누군가에 도움이 될 수 있을까? 에 대해서 항상 생각하기
  • 목표를 이루기 위한 실천방안
    • 꾸준한 블로깅/기록법/독서법으로 넘버원이 아닌 온리원이 되보자.
    • 천사불여일행(千思不如一行)을 항상생각하며 체화 및 각인시키자.
      • "천번 생각하는것보다 한번 행동하는 것이 더 중요하다."
    • 기기일약 불능십보(騏驥一躍 不能十步) / 노마십가 공재불사(駑馬十駕 功在不舍)
      • 천리마도 한번에 열걸음을 뛸 수 없고, 느리고 둔한말이라도 열흘이면 하룻길을 간다.
    • 모든 실수에는 마술이 숨어 있다. 따라서 나는 실수하면 실수할수록, 그런 실수에서 더 많이 배울수록 삶에서 더 많은 마술을 갖는다.