elasticsearch 썸네일형 리스트형 fluent-bit 이란 무엇인가? (ft. fluentd와 차이점) Fluent Bit 홈페이지에서는 Fluent Bit에 대해서 매우 빠르고 가볍고 확장성이 뛰어난 로깅 및 메트릭 프로세서 및 포워더라고 설명하고 있고요. 클라우드 및 컨테이너화 환경에서 선호되는 선택이라고 이야기하고 있죠 (저는 한마디로 아래와 같이 머릿속에 정리해두었는데요) Fluent Bit은 한마디로 "경량 로그 수집기"라고요. 다시말해서, Fluent Bit 은 실시간 로그 데이터를 수집하고 이를 처리하는 데 사용됩니다. 어떻게 보면 이것은 Fluentd의 경량 버전으로, IoT 및 임베디드 시스템과 같은 리소스 제한이 있는 환경에서 사용하기에 이상적이라고 보시면되고요. 특히 Fluent Bit은 C 언어로 작성되어 있다고 하고요. 결과적으로 효율적인 메모리 사용과 빠른 처리 속도를 제공합니다... 더보기 검색 시스템(Search System) 이란? (ft.Elastic Search) 검색시스템(Search System) 검색시스템은 대용량 데이터를 기반으로 신뢰성 있는 검색결과를 제공하기 위해 검색엔진을 기반으로 구축된 시스템 여기서 용어를 정리해봐야 하는데요? 아래 3가지 정도는 머리속에 정리해 두셔야 합니다. 하나, 검색엔진(Search Engine) - 검색엔진은 광활한 웹에서 정보를 수집해 검색결과를 제공하는 프로그램 둘, 검색시스템(Search System) - 검색시스템은 대용량 데이터를 기반으로 신뢰성 있는 검색결과를 제공하기 위해 검색엔진을 기반으로 구축된 시스템 셋, 검색서비스(Search Serivce) - 검색엔진을 기반으로 구축한 검색 시스템을 활용해 검색 결과를 서비스로 제공. 3용어의 범위로 보면 아래와 같다고 보시면 될것 같습니다. - 검색서비스 > 검색 .. 더보기 로그분석 활용할 수 있는 EFK 스택에 대해서 간단하게 정리해보기 블로그 목적 로그를 분석할 수 있는 EFK 스택을 정리해본다. 블로그 요약 EFK에 대해서 알아본다. EFK를 설치하는 방법을 알아본다. EFK관련 나의 생각을 간단하게 정리해본다. EFK 관련 간단한 소개 로그 데이터는 현대 소프트웨어 개발 및 운영에서 중요한 부분을 차지하고 있습니다. 제가 EFK 를 사용하게된 이유는 제가 맡은 업무를 진행하다가 시스템으로 공격이 오더라고요...;; (한 한달간 방어를 하느라...;;; 힘들었네요.....) 그래서, 해당 공격에 대해서 로그 분석을 하려고 했는데 쉘 명령어(grep, cat 등등)를 통해서 통계서버에서 데이터를 추출해서 보려고 하니 몬가 1%부족함을 느껴서 이번에 EFK 스택을 도입하는 과정에 있습니다. 해당 부분은 이 아티클에서 다뤄보고자 합니다. .. 더보기 Elasticsearch와 Grok 패턴을 활용한 로그 데이터 파싱 Elasticsearch와 Grok 패턴을 활용한 로그 데이터 파싱 로그 데이터는 시스템 및 응용 프로그램에서 생성되는 중요한 정보를 담고 있습니다. 오늘은 로그 데이터를 잘 다룰 수 있는 Elasticsearch 와 Grok 패턴에 대해서 정리해보도록 할께요~ 이러한 로그 데이터를 효과적으로 수집하고 분석하기 위해서는 데이터를 구조화하고 정규화하는 작업이 필요합니다. Elasticsearch와 Grok 패턴은 이러한 로그 데이터 파싱 작업을 효과적으로 수행할 수 있는 강력한 도구입니다. Elasticsearch 소개 Elasticsearch는 실시간 검색 및 분석 엔진으로, 대용량의 데이터를 신속하게 검색하고 분석할 수 있는 오픈 소스 분산 검색 엔진입니다. Elasticsearch는 RESTful A.. 더보기 EFK 스택: Elasticsearch, Fluentd, Kibana로 로그 데이터 관리하기 EFK 소개 로그 데이터는 현대 소프트웨어 개발 및 운영에서 중요한 부분을 차지하고 있습니다. 제가 EFK 를 사용하게된 이유는 업무를 진행하다가 저희 시스템으로 공격이 오더라고요... 그래서 분석을 하려고 했는데 명령어로만 하려니 몬가 1%부족함을 느껴서 이번에 EFK 스택을 도입하게 되었습니다. 아무튼, 분석을 위한 이러한 로그 데이터를 효과적으로 수집, 저장, 시각화하고 분석하는 것은 기업의 성공과 안정성을 위해 너무너무 중요합니다. 이부분을 해결할 수 있는 EFK 스택은 Elasticsearch, Fluentd, Kibana의 조합으로 이러한 작업을 간편하게 수행할 수 있는 강력한 도구라고 말씀드리고 싶네요. Elasticsearch 하나, 역할 및 특징 Elasticsearch는 실시간 분산 검.. 더보기 2.ElasticSearch, 엘라스틱 서치가 강력할 수 밖에 없는 이유에 대해서 알아보자. 블로깅의 목적 엘라스틱 서치(ElasticSearch)에 대해서 공부해보고, 엘라스틱 서치의 장단점을 파악해보자. 반드시! 엘라스틱서치(ElasticSearch)는? 요즘 빅데이터를 빠르게 검색하기 위해 NoSQL(No Structured Query Language) 를 많이 사용함. 즉, 엘라스틱도 NoSQL의 일종. 분류가 가능함. 분석처리를 통한 실시간에 준하는 빠른 검색이 가능함. 기존 데이터베이스로는 처리하기 어려운 대량의 비정형 데이터도 검색 가능함. 전문 갬색(Full Text) / 구조 검색 모두를 지원함. 참고페이지 https://www.elastic.co/kr/elasticsearch/ 그럼, 엘라스틱 서치의 장점을 정리하고 알아보자. 오픈소스 검색엔진 아파치 재단의 루씬(Lucene).. 더보기 2.ElasticSearch, 엘라스틱 서치가 강력할 수 밖에 없는 이유에 대해서 알아보자. 블로깅의 목적 엘라스틱 서치(ElasticSearch)에 대해서 공부해보고, 엘라스틱 서치의 장단점을 파악해보자. 반드시! 엘라스틱서치(ElasticSearch)는? 요즘 빅데이터를 빠르게 검색하기 위해 NoSQL(No Structured Query Language) 를 많이 사용함. 즉, 엘라스틱도 NoSQL의 일종. 분류가 가능함. 분석처리를 통한 실시간에 준하는 빠른 검색이 가능함. 기존 데이터베이스로는 처리하기 어려운 대량의 비정형 데이터도 검색 가능함. 전문 갬색(Full Text) / 구조 검색 모두를 지원함. 참고페이지 https://www.elastic.co/kr/elasticsearch/ 그럼, 엘라스틱 서치의 장점을 정리하고 알아보자. 오픈소스 검색엔진 아파치 재단의 루씬(Lucene).. 더보기 1.ElasticSearch, 데이터 사이언스에 대해서 알아보자. 데이터와 데이터 사이언스 4차 산업혁명 초연결성 / 초지능화의 특성을 지니고 있음. 사물 인터넷(IoT) 및 클라우드등 정보통신기술(ICT)을 통해 인간과 인간, 사물과 사물, 인간과 사물이 상호 연결됨. 빅데이터 / 인공지능 등으로 지능화된 사회로의 변화됨. 참고페이지 https://ko.wikipedia.org/wiki/%EC%A0%9C4%EC%B0%A8_%EC%82%B0%EC%97%85%ED%98%81%EB%AA%85 데이터와 가치 빅데이터 시대의 데이터 가치 중요한 정보를 관계형 데이터베이스 기반 쳬계적인 관리에서 빅데이터를 저장하고 처리하고 활용할 수 있는 기술로 발전됨. 앞으로 배울 ELK 스택을 사용하면, 효율적으로 활용및 분석이 가능해짐. 최근, 기계학습 / 딥러닝 기법을 적용하여 혁신을 .. 더보기 이전 1 2 다음
