fluentd 란 무엇인가? 그리고 설치하기

 

fluentd 란 무엇인가?

fluentd 는 데이터를 더 잘 사용하고 이해하기 위해서 데이터 수집및 소비를 통합할 수 있는 오픈소스 데이터 수집기라고 머릿속에 넣어두면될것 같다. 

목적은 회사에서 비정상적인 대량 로그인 사태가 발생해서 해당 로그를 분석하기 위해서 fluentd 를 도입해보려고 진행하게 되었고 이렇게 티스토리에 정리해보기로 한다.

잘 수집될까? 되겠지!

그럼, fluentd 설치를 본격적으로 해보자.

fluentd 설치하기

fluentd 관련 dockerhub 를 통해서 아래와 같이 설치한다.

$ docker pull fluentd

그리고 정상적으로 fluentd 가 설치 되었는지 docker image 를 확인한다.

docker images | grep fluentd

환경설정은 기본적으로 우선 http를 수신받는 걸로 했고 추후에는 파일 수집도 해볼 생각이다.

설정을 위와 같이 진행했다.

실행및 테스트

그럼 실행을 해볼까?

sudo docker run -p 24224:24224 -p 24224:24224/udp -v /etc/fluentd:/fluentd/etc fluentd

그리고 테스트는 아래와 같이 진행해본다.

$ curl -X POST -d 'json={"json":"message"}' http://127.0.0.1:24224/sample.test

그럼 테스트 결과를 한번 보면 아래와 같이 잘 수집되어 로그로 나온다.

맺음말

이제까지 fluentd 를 설치하고 테스트를 해보았다.

정상적으로 설치되고 테스트결과 잘 실행됨을 확인했고, 앞으로 비정상 트래픽로그에 대해서 fluentd 의 도움을 받아서 잘 분석해서 대응및 해결을 해보려고 한다. 

오늘의 티스토리는 여기까지고요.
항상믿고 봐주셔서 감사합니다. 

 

블로그요약

- fluentd는 데이터 수집 및 소비를 통합하는 오픈소스 데이터 수집기이다.
- 회사에서 비정상적인 대량 로그인 사태가 발생하여 fluentd를 도입하기로 결정했다.
- fluentd 설치는 dockerhub를 통해 진행했다.
- fluentd 설치 후, 테스트를 통해 정상적으로 수집 및 실행됨을 확인했다.
- fluentd를 통해 비정상적인 트래픽 로그를 분석하고 대응할 계획이다.
- 오늘의 티스토리는 fluentd 설치와 테스트에 대한 내용이다.