1.ElasticSearch, 데이터 사이언스에 대해서 알아보자.

데이터와 데이터 사이언스

• 4차 산업혁명
  • 초연결성 / 초지능화의 특성을 지니고 있음.
  • 사물 인터넷(IoT) 및 클라우드등 정보통신기술(ICT)을 통해 인간과 인간, 사물과 사물, 인간과 사물이 상호 연결됨.
  • 빅데이터 / 인공지능 등으로 지능화된 사회로의 변화됨.
  • 참고페이지
    • https://ko.wikipedia.org/wiki/%EC%A0%9C4%EC%B0%A8_%EC%82%B0%EC%97%85%ED%98%81%EB%AA%85

    • 

•  데이터와 가치
  • 빅데이터 시대의 데이터 가치
    • 중요한 정보를 관계형 데이터베이스 기반 쳬계적인 관리에서 빅데이터를 저장하고 처리하고 활용할 수 있는 기술로 발전됨.
      • 앞으로 배울 ELK 스택을 사용하면, 효율적으로 활용및 분석이 가능해짐.
    • 최근, 기계학습 / 딥러닝 기법을 적용하여 혁신을 통해 가치를 창출함.

  • 

    • 데이터가 빅데이터 시대가 되면서, RDMS -> NoSQL 로 이관되고 있음. 
    • 아래 언어들을 알아두면 좋음.
      • R (통계언어)
      • Python
      • 기타 등등
• 데이터 / 빅데이터
  • 빅데이터란?
    • 인사이트와 의사결정, 자동화과정을 강화할 수 있는 정보처리과정의 혁신적인 형태.
    • 높은 비용 효율을 요구하고 방대하며, 빠르고 다양한 형태의 정보자산.
    • 데이터 사이언스 / 빅데이터 / 데이터 분석에 대한 요약

      • 

• 데이터 사이언스란?
  • 데이터 마이닝(Data Mining)과 유사함.
  •  정형 및 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출하는 과학적인 방법론 / 프로세스 / 알고리즘 / 시스템을 동원하는 융합분야를 말함.

    • 

  • 데이터 사이언스 작업 흐름도
    • 데이터를 수집하고 이를 이해하는 과정 / 추상화하는 과정을 거쳐서 최종 산출물로 흘러감.
    • 사람이 최종 소비자가 되는 보고서 / 대쉬보드기반과 기계가 최종 소비자가 되는 API/코드 형태로 최종작업이 이루어짐.

      • 

        •  데이터를 분석하는 이유는
          • 특정 현상을 통해서 예측을 위한 것.
• 데이터 분석
  • 인사이트를 도출하기 위해서 알고리즘과 수학적 처리과정을 적용하여 해당 정보에 대한 결론을 도출하고 패턴을 찾기위한 목적으로 원시 데이터를 다루는 과학임.
• 데이터 관리
  • 빅데이터 수집/저장/분석/가시화 관리 메커니즘 정리

    • 

  • 데이터 관리 목표
    • 관리를 통한 지능 자동화를 목표로 함.

    • 

  •  데이터 사이언스 요소 기술
    • 빅데이터 요소 기술 구성 및 분류 정리

    • 

빅데이터 요소 기술 구성 및 분류

• 데이터 엔지니어(Data Engineer)
  • 데이터를 저장하고 관리
    • SQL/자바/스칼라/파이썬 기타등등
• 데이터 분석가(Data Analyst)
  • 탐색적 데이터 분석
    • 스프레드 쉬트/SQL/상용 대쉬보드 도구
• 데이터 과학자(Data Scientist)
  • 통계학 기반 실험과 통계모형 개발
    • 자료추출 SQL/ 실험과 모형 R / 파이썬
• 기계학습 데이터 과학자(Machine Learning Scientist)
  • 기계학습 모형 개발 및 머신러닝 활용
    • R / 파이썬

결론

• 데이터 사이언스는 정형 및 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출하는데 과학적 방법론 / 프로세스 /알고리즘 / 시스템을 동원하는 융합분야임.
• 데이터 분석이란 데이터로부터 의사결정을 위해서 데이터를 모으고 변환하며, 분류하고, 그래서 특징을 찾아내어 한눈에 파악할 수 있도록 시각적인 표현을 해 주는 모든 행위를 의미함.
• 오늘도, 데이터 사이언스에 대한 지식 한가지 획득완료! 감사합니다. ^^