아래의 내용에서는 ELK(Elasticsearch, Logstash, Kibana) 환경 구성에서 파일비트(Filebeat)와 로그스태시(Logstash)에 대한 설정 예시를 다룹니다. 개인적으로 나중에 참고하려고 작성한 내용입니다. 혹시 파일 비트와 로그스태시에 대한 개념이 부족하다면 다음 포스팅을 참고해주세요. 1. 파일비트(Filebeat)를 이용한 카프카(Kafka)로의 로그 전송 예시 Filebeat는 로그를 전송해주는 경량화된 프로세스이다. 현재 서버 구성으로는 Nginx와 Tomcat 로그가 모두 있어서 두 가지를 같이 남기고 있다. 파일비트의 yml 파일은 다음과 같은데, 각각 살펴보도록 하자. filebeat.inputs: - type: log enabled: true paths: - /..

아래의 내용에서는 ELK(Elasticsearch, Logstash, Kibana)에 대해 간단히 살펴보고, 구성 예시를 살펴봅니다. 개인적으로 참고하기 위해 포스팅하는 내용입니다. 1. ELK에 대한 간단한 소개 및 구성 예시 [ ELK 아키텍처 구성 예시 ] [ Filebeat의 역할 ] Filebeat(파일 비트)는 각 서버에 설치되어 로그 파일의 전송을 담당하는 로그 전송 경량화 프로세스이다. 현재 구조에서는 nginx와 tomcat로그가 모두 필요하여 2종류의 로그를 전송하고 있고, 로그의 구분은 필드에 타입을 추가하여 처리한다. 1개의 프로세스를 통해 여러 개의 로그 종류를 전송하는 부분은 Filebeat 설정 쪽에서 자세히 살펴보도록 하자. Filebeat는 크게 로그를 가져올 입력 플러그인..

이번에 Tick 스택을 이용해서 모니터링 시스템을 구축하는데, Kapacitor로 알림을 보내는 작업을 하게 되었습니다. 해당 작업을 하면서 진행했던 내용들을 정리해두었습니다. 개인적으로 나중에 참고하려고 작성한 내용이라 간략히만 정리하도록 하겠습니다. 1. Kapacitor 알림 전송이 실패하는 경우 [ Tick 컴포넌트 역할과 관계 ] Tick 컴포넌트 역할 Influx: 시계열 데이터베이스 Chronograf: UI 화면 제공 Telegraf: cpu, memory,disk, db 등등 다양한 정보들을 InfluxDB로 전송 Kapacitor: 데이터 처리 및 알림 전송 InfluxDB와 Kapacitor 간의 구독(Subscription) Kapacitor가 InfluxDB로 알림을 보내기 위해서..

SonarQube 유료 버전의 기능으로 Pull Request에 대해 정적 분석 코멘트를 남겨주는 Pull Request Decoration이 있습니다. 하지만 무료 플러그인을 사용하면 유료 버전이 아니여도 해당 기능을 사용할 수 있는데, 이번에는 해당 작업 과정을 살펴보도록 하겠습니다. 1. 소나큐브 PR 데코레이션 소개 및 동작 흐름 [ PR 데코레이션 소개 ] SonarQube 유료 버전의 기능으로 Pull Request에 대해 정적 분석 코멘트를 남겨주는 Pull Request Decoration이 있다. 해당 기능은 다음과 같이 작성한 Pull Request에 대해 정적 분석한 정보를 보여준다. 추가로 GitHub의 작업 내역에서 다음과 같이 분석한 내용을 볼수도 있다. 문제는 이러한 기능이 기..

이번에는 Docker-Compose로 ELK(Elastic, Logstash, Kibana) 스택을 기반으로 하는 모니터링 서버를 구축한 후에 Kibana를 활용해 ElasticSearch의 Index Lifecycle Policy를 설정해주는 방법에 대해 알아보도록 하자. 개인적으로 참고하려고 정리한 내용이므로 간단히 절차만 정리하도록 하겠습니다. 1. 엘라스틱서치 Index Lifecycle Policy 설정 [ Index LifeCycle Policy 생성 ] 데이터가 계속 쌓이는데, 주기적으로 지워주지 않는다면 검색 속도가 느려지는 등의 문제가 발생한다. 그러므로 쌓인 인덱스(데이터)를 일정 간격으로 제거해주는 Index Lifecycle 정책을 올바르게 설정해주어야한다. Index LifeCyc..