전체 글 썸네일형 리스트형 4.tensorflow, 머신러닝에서 데이터관련 비일관성문제에 대해서 알아보자. 블로그의 목적 머신러닝에서 데이터 관련 비일관성 문제에 대해서 정리해본다. 데이터 관련 비일관성 문제 언더피팅(under-fitting) 오버피팅(over-fitting) 데이터 불안정성(data instability) 예측 불가한 미래(unpredictable future) 그럼, 언더피팅에 대해서 알아보자. 언더피팅이란? 실제 데이터를 정확하게 모델링하기 위해 충분한 정보를 고려하지 못한 경우을 말함. 즉, 오차가 늘고, 모델의 정확도도 저하됨. 주로, 언더피팅은 아래의 경우에 잘 발생함. 분류기(classifier)가 특정 데이터에만 적용 가능한 상태이거나 수준 미달일 정도로 단순한 경우 즉,데이터가 충분하지 않고, 모델링이 제대로 이뤄지지 않아서... 다시말해서, 데이터셋 크기가 너무 작으면 최적.. 더보기 3.tensorflow, 머신러닝에서 태스크, 알고리즘,모델에 대해서 간단하게 정리하고 알아보자. 블로그 목적 머신러닝안에서 태스크 / 알고리즘 / 모델에 대해서 알아본다. 머신러닝에서 말하는 태스크란? 머신러닝이 해결해야 하는 문제임. 그럼, 태스크의 대한 성능이란 의미는? 문제가 해결될 수 있다고 확신할 수 있는 일종의 수준을 의미함. 여러 종류 데이터셋 / 다양한 알고리즘을 적용 하면, 결과적으로, 많은 종류의 모델이 만들어 짐. 결론적으로, 여러종류의 모델에 대한 일관성 있는 성능 측정이 필요함. 머신러닝에서 말하는 알고리즘이란? 머신러닝에서 알고리즘 적용 시 필요한것은 ? 하나, 문제를 명확하게 이해해야함. 둘, 문제 파악의 명확함속에서, 어떤데이터에 해당하는 알고리즘이 적합한지와 적용가능한지 여부를 아는 것이 중요함. 왜냐하면, 세상에 알고리즘이 너무많이 때문에....-_-;;; 그럼, 알.. 더보기 2.tensorflow, 머신러닝에서 데이터(data)에 대한 의미란? 블로그 목적 머신러닝에서 데이터(data)에 대한 의미에 대해서 알아본다. 머신러닝에서 말하는 데이터(data)란? 학습을 위한 필수 구성 요소 다양한 포맷, 빈도수, 규모로 이뤄져 있음을 내포하고 있음. 머신러닝에서 데이터의 처리에 대해서 알아보자. 대규모 데이터 셋을 다루기 위한 방법은 아래와 같음. 병렬처리(parallel processing) 분산저장(distributed storage) 분산실행(distributed execution) 기타 등등. 또한, 데이터 처리 시 차원(dimension)이란 요소는 매우 중요하게 고려해야함. 만약 데이터가 있다면, 하나, 행(row)과 열(column) 로 구성되어 있는지 확인 둘, 정형화된 데이터(structured data) / 비정형화된 데이터(un.. 더보기 1.tensorflow, 학습(Learning)에 대해서 알아보자. 블로그 목적 머신러닝에서 학습에 대한 정의를 알아본다. 학습(Learning) 이란? 현재까지 축적한 데이터(historical data)를 실행 가능한 태스크를 예측하고 도출하는 데 사용하는 것을 말함. 즉, 학습할 수 있어야 지능형 시스템이 될 수 있음. 학습을 정의하기 위한 고려사항 정리 하나, 학습모델 및 필요한 것이 무엇인지 정의함. 둘, 데이터관련 요구 사항 / 데이터셋 확인. 셋, 학습 모델의 대상 데이터셋의 전체 / 일부 에 대해 정의함. 모델이란? 데이터 셋에 알고리즘을 적용해 얻은 결과를 말하고, 패턴형태로 나타나게됨. 그럼, 머신러닝에서 사용되는 2가지 데이터 셋(dataset)에 대해서 알아보자. 하나, 입력 데이터 / 예상결과데이터가 모두 포함된 데이터 셋 수작업을 통해서 마련됨... 더보기 0.hadoop, 아파치 하둡(Apache Hadoop) 이란 무엇인가? 블로그 목적 머신러닝 공부 및 구현을 위한, 플랫폼인 하둡에 대한 기본지식을 습득한다. 하둡의 에코시스템에 대해서도 간략하게 알아본다. 아파치 하둡(Apache Hadoop)에 대해서 알아보자. 아파치 하둡이란? 아파치 소프트웨어 재단의 오픈 소스, 자바 기반의 프로젝트 중 하나라고 머리속에 넣어두자. 특징 빅데이터를 분산 저장 및 처리 확장성 지원 장애허용 지원 목적 저렴한 비용의 서버들로 구성된 노드 클러스터의 이점을 활용하여, 병렬처리를 가능하게 하는 것. 하둡 로고 코끼리 사견인데.. 우리 아이가 너무 좋아하는 동물입니다. ^-^ 코끼리 하면 코! 하고 (옹알이중 ㅋ) 그래서 더욱 정감이 아네요.. 하둡에...^^ 그럼, 하둡이란 이름은 누가 지었을까? 하둡의 창시자, 더그 커팅(Dou.. 더보기 0.Spring, 도대체 무엇이 스프링 프레임워크일까? ^^ .. 한번 간단하게 알아보자! · 블로그의 목적 - 스프링 프레임 워크에 대해서 간단하게 알아본다. · 스프링 프레임 워크에 대해서 알아보자. ^^ - 스프링 프레임 워크 1.0 - 첫번째 버전은 2004년 3월에 릴리즈 됨. - 스프링은 10년 넘게 JAVA 어플리케이션을 구축하는 데 기준이 되는 프레임 워크 - 스프링 프레임워크가 제공하는 것은? - 최신 JAVA기반 엔터프라이즈 애플리케이션을 위한 포괄적인 프로그래밍 및 구성 모델을 제공한다. - 참고페이지 - https://spring.io/ - 위 참고페이지를 가면 아래 내용이 실시간으로 주르륵(?) 나온다. ^^; - Spring makes Java simple / modern / productive / reactive / cloud-ready . - 직독직해 하자면, - .. 더보기 0.오늘의 한마디, 마크 맨슨 지음, "신경 끄기의 기술" 중에서...(20200928) · 블로그 목적 - 오늘의 한마디를 통해서 나를 돌아본다. - 경험을 책임지며 살아가는 내가 되자! ^^ · 오늘의 한마디 우리는 항상 "경험"을 책임지며 살아간다. 그것이 "내 잘못"으로 생긴 일이 아니라 할지라도, 이것은 삶의 일부다. 당신의 상황에 책임이 있는 건 다른 누구도 아닌 당신 자신이다. 당신의 불행을 다른 사람 탓으로 돌릴 수 도 있겠지만, 불행을 책임질 사람은 오로지 당신뿐이다. 왜냐하면, 살면서 맞닥뜨리는 사건을 어떻게 바라보고, 어떻게 대응하고, 어떻게 평가할 것인지를 선택하는 건 언제나 당신이기 때문이다. 경험을 평가할 기준을 선택하는 건 언제나 당신이다. 더보기 부동산에 대한 가치를 파악하기 · 블로그 목적 - 부동산에 대한 가치 파악에 대해서 고민하고 정리해 본다. · 부동산에 대한 가치를 파악하려면... - 가치투자, 부동산가치를 보는 안목을 키워야 한다. - "경험" , 경험을 많이 하면 많이 할수록 물건이 가지고 있는 가치를 판단하고 본인의 주관적인 가치까지 더해서 합리적인 소비를 할 수 있다. - 상품은 철이 지나고 나면 본연의 가치를 찾게 됨. - 집에 비유하면, 분양홍보지에 과대 광고를 할 때 내세우는 우수한 입지, 교통, 학군에 현혹되면 비싸게 돈을 주고 집을 살 수도 있음. - 이렇게 집을 사면 후회하기마련이다. - 합리적인 투자를 하려면 그집과 입지가 가지고 있는 고유하고 오래 지속될 수 있는 요소들을 찾아 내야 함. - 그것들의 가치를 판단해서 집을 사야 가치 투자가 됨... 더보기 이전 1 ··· 180 181 182 183 184 다음 목록 더보기
