Spark 썸네일형 리스트형 2.아파치 스파크(Apache Spark)란 무엇일까? 목표 - 나의 강점을 바탕으로 나의 일을 잘해냄으로써 타인과 사회를 아릅답게 만든다. - 현재 내가 가진 능력으로 누군가에 도움이 될 수 있을까? 에 대해서 항상 생각하기 - 나는 블로그 생태계에서 IT 기술/부동산학/민법/주식 교육 관련 파워블로거및 인플루언서가 반드시 된다! 목표를 이루기 위한 실천방안 - 꾸준한 블로깅/기록법/독서법으로 넘버원이 아닌 온리원이 되보자. - 천사불여일행(千思不如一行)을 항상생각하며 체화 및 각인시키자. - "천번 생각하는것보다 한번 행동하는 것이 더 중요하다." - 기기일약 불능십보(騏驥一躍 不能十步) / 노마십가 공재불사(駑馬十駕 功在不舍) - 천리마도 한번에 열걸음을 뛸 수 없고, 느리고 둔한말이라도 열흘이면 하룻길을 간다. - 모든 실수에는 마술이 숨어 있다. 따.. 더보기 1.Spark, 스파크를 구성하는 컴포넌트에 대해서 알아보자. 스파크의 컴포넌트 구성요소 아래의 다양한 스파크 컴포넌트들은 여러기능이 집약되어 통합 플랫폼으로 발전됨. 컴포넌트 구성도 스파크 코어 스파크 SQL 스파크 스트리밍 스파크 GraphX 스파크 MLlib 그럼 스파크 코어에 대해서 알아보자. 스파크 Job과 다른 스파크 컴포넌트에 필요한 기본 기능을 제공함. 코어에서 가장 중요한 개념. RDD(Resilient Distributed Dataset) 분산 데이터 컬렉션(or 데이터셋)을 추상화한 객체 데이터셋에 적용할 수 있는 연산 및 변환 메소드를 함께 제공함. 다시말해서,스파크 API 의 핵심 요소 주요 특징 복원성 노드에 장애가 발생하더라도, 데이터셋을 재구성할 수 있음. 특징 다양한 파일시스템에 접근 가능함 HDFS GlusterFS Amazon S3.. 더보기 0.Spark, 아파치 스파크에 대해서 알아보자. 아파치 스파크(Apache Spark) 란? 고속 범용 분산 컴퓨팅 플랫폼. 홈페이지 https://spark.apache.org/ 스파크의 설계자 UC 버클리 AMPLab 마테이 자하리아 이온 스토이카 그리고 레이놀드 신 패트릭 웬델 앤디 콘윈스키 알리 고시 추후, 데이터브릭스(Databricks)를 창업함. https://databricks.com/ 그리고, 데이터브릭스 클라우드(Databricks Cloud) 라는 스파크 기반의 빅데이터 분석 솔루션을 사용화함. 그럼, 아파치 스파크의 특징에 대해서 알아보자. 하둡 맵리듀스(Hadoop MapReduce)를 대체하는 흥미롭고 새로운 빅데이터 처리 지원 잠깐!) 아파치 하둡(Apache Hadoop) 에 대해서 잠시 알아보자. 홈페이지 https://.. 더보기 이전 1 다음
