좋아하는 것_매직IT 썸네일형 리스트형 Elasticsearch와 Grok 패턴을 활용한 로그 데이터 파싱 Elasticsearch와 Grok 패턴을 활용한 로그 데이터 파싱 로그 데이터는 시스템 및 응용 프로그램에서 생성되는 중요한 정보를 담고 있습니다. 오늘은 로그 데이터를 잘 다룰 수 있는 Elasticsearch 와 Grok 패턴에 대해서 정리해보도록 할께요~ 이러한 로그 데이터를 효과적으로 수집하고 분석하기 위해서는 데이터를 구조화하고 정규화하는 작업이 필요합니다. Elasticsearch와 Grok 패턴은 이러한 로그 데이터 파싱 작업을 효과적으로 수행할 수 있는 강력한 도구입니다. Elasticsearch 소개 Elasticsearch는 실시간 검색 및 분석 엔진으로, 대용량의 데이터를 신속하게 검색하고 분석할 수 있는 오픈 소스 분산 검색 엔진입니다. Elasticsearch는 RESTful A.. 더보기 EFK 스택: Elasticsearch, Fluentd, Kibana로 로그 데이터 관리하기 EFK 소개 로그 데이터는 현대 소프트웨어 개발 및 운영에서 중요한 부분을 차지하고 있습니다. 제가 EFK 를 사용하게된 이유는 업무를 진행하다가 저희 시스템으로 공격이 오더라고요... 그래서 분석을 하려고 했는데 명령어로만 하려니 몬가 1%부족함을 느껴서 이번에 EFK 스택을 도입하게 되었습니다. 아무튼, 분석을 위한 이러한 로그 데이터를 효과적으로 수집, 저장, 시각화하고 분석하는 것은 기업의 성공과 안정성을 위해 너무너무 중요합니다. 이부분을 해결할 수 있는 EFK 스택은 Elasticsearch, Fluentd, Kibana의 조합으로 이러한 작업을 간편하게 수행할 수 있는 강력한 도구라고 말씀드리고 싶네요. Elasticsearch 하나, 역할 및 특징 Elasticsearch는 실시간 분산 검.. 더보기 fluentd 란 무엇인가? 그리고 설치하기 fluentd 란 무엇인가? fluentd 는 데이터를 더 잘 사용하고 이해하기 위해서 데이터 수집및 소비를 통합할 수 있는 오픈소스 데이터 수집기라고 머릿속에 넣어두면될것 같다. 목적은 회사에서 비정상적인 대량 로그인 사태가 발생해서 해당 로그를 분석하기 위해서 fluentd 를 도입해보려고 진행하게 되었고 이렇게 티스토리에 정리해보기로 한다. 잘 수집될까? 되겠지! 그럼, fluentd 설치를 본격적으로 해보자. fluentd 설치하기 fluentd 관련 dockerhub 를 통해서 아래와 같이 설치한다. $ docker pull fluentd 그리고 정상적으로 fluentd 가 설치 되었는지 docker image 를 확인한다. docker images | grep fluentd 환경설정은 기본적으.. 더보기 QueryDSL에서의 @QueryProjection 어노테이션 깔끔정리 QueryDSL은 자바 기반의 영속성 프레임워크에서 강력하고 효과적인 쿼리 작성을 도와주는 라이브러리입니다. 이 라이브러리를 사용할 때, @QueryProjection 어노테이션은 DTO(Data Transfer Object)를 생성할 때 중요한 역할을 합니다. QueryDSL과 DTO QueryDSL을 사용하면 JPA 엔터티의 필드를 직접 사용하여 동적 쿼리를 작성할 수 있습니다. 하지만 종종 특정 쿼리의 결과를 매핑하기 위해 엔터티 필드보다는 DTO를 사용하게 됩니다. 이때 @QueryProjection 어노테이션은 DTO의 생성자를 표시하고, QueryDSL이 해당 생성자를 활용하여 DTO를 생성할 수 있도록 도와줍니다. @QueryProjection 어노테이션의 의미 @QueryProjection.. 더보기 Windows 디스크 클린업과 이미지 재설정 명령어 깔끔정리 Windows 디스크 클린업과 이미지 재설정 명령어 - Dism.exe /online /Cleanup-Image /StartComponentCleanup /ResetBase Windows 운영체제는 디스크 공간을 최적화하고 시스템 성능을 향상시키기 위한 다양한 도구와 명령어를 제공합니다. 그 중에서도 "Dism.exe" 명령어는 디스크 이미지 서비스 매니저로, 시스템 이미지를 관리하고 복구하는 데 사용됩니다. 특히, "/Cleanup-Image /StartComponentCleanup /ResetBase" 옵션은 디스크 클린업 작업을 실행하고 시스템 이미지를 재설정하는데 도움이 됩니다. Dism.exe란? "Dism.exe"는 Deployment Image Service and Management Too.. 더보기 Windows 10 Update 후 디스크 공간 최적화 하는 방법은? Windows 운영체제는 디스크 공간을 최적화하고 시스템 성능을 향상시키기 위한 다양한 도구와 명령어를 제공합니다. 그 중에서도 "Dism.exe" 명령어는 디스크 이미지 서비스 매니저로, 시스템 이미지를 관리하고 복구하는 데 사용됩니다. 특히, "/Cleanup-Image /StartComponentCleanup" 옵션은 디스크 클린업 작업을 시작하는데 도움이 됩니다. Dism.exe란? "Dism.exe"는 Deployment Image Service and Management Tool의 약자로, Windows 운영체제에서 시스템 이미지를 관리하는 데 사용되는 명령줄 도구입니다. 시스템 이미지는 Windows 설치 파일과 관련된 모든 파일 및 설정을 포함하고 있으며, 이를 통해 운영체제의 복구, 업그.. 더보기 nodejs 를 활용한 간단한 websocket 채팅서버 (ft. node project setting) nodejs 를 활용해서 간단한 채팅서버를 구현하고자 한다. 참고로 node.js 는 java script 기반의 서버 사이드 프로그래밍 언어입니다. 웹 개발 시 필수적으로 사용되며 다양한 라이브러리와 모듈을 제공하므로 빠르고 쉽게 개발할 수 있습니다. 설치 방법은 https://nodejs.org/ko/download/ 에 들어가서 자신의 운영체제에 맞는 버전을 선택 후 설치하면 됩니다. 구현하기위해서는 node 프로젝트를 생성해야 하는데 npm init 명령어를 사용해서 프로젝트를 생성할 수 있다. 결론부터 말씀드리면 생성하면 아래 파일이 생긴다. package.json index.js 첫번째, npm 를 사용해서 프로젝트를 생성한다. PS D:\dev\nodejs_project\chat_server.. 더보기 람다식(Lambda expression) 깔끔하게 정리하기 Java 는 람다식의 도입으로 인해, 객체지향형인 동시에 함수형 언어가 되었다. 람다식의 정의 람다식은 메서드를 하나의 식(expression) 으로 표현한것을 말한다. 메서드를 람다식으로 표현하면 메서드의 이름과 반환값이 없어지므로, 람다식을 익명함수(anonymous function) 이라고도 한다. int[] arr = new int[10]; Arrays.setAll(arr, (i) -> (int)(Math.random()*10)+1); 위 람다식을 메소드로 나타낸다면 아래와 같다. int methodExam() { return (int)(Math.random()*10) + 1; } Java 에서 모든 메서드는 클래스에 포함 되어야하고 클래스도 새로 만들어야하며, 객체도 생성해야 비롯소 method.. 더보기 이전 1 2 3 4 5 ··· 71 다음
