인프라 운영을 할때 우리나라 실무에서도 많이 사용되고 있는 오픈소스 Grafana와 Elastalert의 차이점에 대해서 자세하게 알아보는 시간을 갖겠습니다. 제가 근무중인 회사에서도 실제 이 두가지 오픈소스를 활용하여 다양한 인프라를 모니터링중에 있으며 알람 기능을 통해 장애 대응을 하고 있습니다.
Grafana가 뭔가요?
“Grafana” 는 오픈소스 분석 및 대화형 시각화 웹 애플리케이션입니다. 이를 통해 방대한 수의 데이터 소스에서 데이터를 수집하고, 이 데이터를 쿼리하고, 쉬운 분석을 위해 아름답고 사용자 정의 가능한 차트에 표시할 수 있습니다.
또한 알림을 설정하여 비정상적인 동작과 그 외 여러 가지 사항을 빠르고 쉽게 알릴 수 있습니다. 간단히 말해서 Grafana를 사용하면 애플리케이션에서 수집한 성능 지표 데이터의 산을 시각화로 변환할 수 있습니다. 이를 통해 결론을 도출하고 애플리케이션 스택을 건강하게 유지하기 위한 결정을 내릴 수 있습니다.
성능 지표 데이터를 활용하여 MetricFire는 Graphite 와 Grafana를 모두 사용하여 모니터링 시스템을 전문으로 합니다 . 최소한의 구성으로 제품을 사용하여 환경에 대한 심층적인 통찰력을 얻을 수 있습니다.
인프라의 안정성과 신뢰성은 해당 인프라 내 각 애플리케이션의 성능에 크게 좌우됩니다. 이러한 애플리케이션의 상태를 이해하는 것은 시스템을 최상의 상태로 유지하는 데 필수적입니다. 이는 애플리케이션을 모니터링 하여 수행됩니다. 즉, 이러한 애플리케이션에 대한 데이터(일반적으로 시계열 데이터 형태)를 수집하여 항상 현재 상태를 알려줍니다.
스택이 클수록 인프라가 건강한지 확인하기 위해 모니터링해야 할 애플리케이션이 많아집니다. 그러면 애플리케이션에서 대량의 성능 데이터를 수집하게 됩니다. 그런 다음 이 데이터를 분석하고 이해하려면 엄청난 노력이 필요하며, 적절한 도구가 없다면 쉬운 일이 아닙니다. Grafana는 바로 이러한 목적을 위해 만들어진 오픈소스 입니다.
아래 스크린샷은 실제 제가 근무중인 보안팀에서 방화벽, IPS, WAF등 주요 보안장비의 성능을 모니터링하는 Grafana 화면입니다. snmp 기반으로 모니터링중에 있으며 그라파나 오픈소스를 통해 대시보드에 시각화하여 이용중입니다.
Elastalert가 뭔가요?
“ElastAlert”는 Elasticsearch에 담긴 데이터를 바탕으로 지정한 조건에 일치하는 이벤트가 발생하면 이를 알려주는 성능 좋은 오픈소스 도구입니다. Elasticsearch에서 얻어지는 여러 유형의 로그 데이터를 실시간으로 감시하고, 특이사항을 신속하게 파악하여 시스템 오류를 미리 방지하거나 보안 위험에 대처하는 데 유용하게 이용될 수 있습니다.
실제 Elastalert 활용 사례를 살펴보면, 서버 작동 중지, 디스크 공간 부족, 네트워크 오류 등 시스템 이상 패턴을 파악할수 있으며 보안 모니터링도 가능합니다. 엘라스틱 서치 로그를 기반으로 침입 탐지, 악의적인 활동 감지, 비정상적인 로그 패턴 탐지가 가능합니다. 장점으로는 다양한 알림 방식과 검색 기능을 지원하여 복잡한 감시 상황도 쉽게 설정 가능합니다. 또한, Python 코드를 활용하여 프로그램의 기능을 업데이트 할수 있는 오픈소스로 비용 없이 이용 할 수 있으며 커뮤니티도 많이 활성화되어 있어 도움을 쉽게 얻을수 있습니다.
하기 사진은 실제 제가 근무중인 회사에서 특정 보안장비 로그를 엘라스틱으로 저장하고 있는데요. 이 로그를 바탕으로 우리 팀에서 정해둔 보안 알람 규칙에 부합되면 Email과 slack을 통해 알람을 통보하는 환경 설정 파일 예시입니다.
Grafana와 ElastAlert 차이점은?
ElastAlert와 Grafana의 주요 차이점에 대해서 지금부터 살펴보도록 하겠습니다. ElastAlert는 Elasticsearch 데이터를 기반으로 한 알림을 위한 오픈소스 프레임워크인 반면, Grafana는 인기 있는 오픈소스 데이터 시각화 및 모니터링 도구입니다.
– Elastic Stack과의 통합 : ElastAlert는 Elasticsearch, Logstash, Kibana를 포함한 Elastic Stack과 함께 작동하도록 특별히 설계되었습니다. Elasticsearch를 직접 쿼리하여 데이터를 분석하고 지정된 규칙에 따라 알림을 트리거합니다. 반면 Grafana는 Elasticsearch를 포함한 여러 데이터 소스와 통합할 수 있지만 ElastAlert만큼 Elastic Stack과 긴밀하게 통합되지는 않았습니다.
– 알림 기능 : ElastAlert는 유연하고 강력한 알림 시스템을 제공합니다. 이메일, Slack, HipChat 등을 통한 알림 전송과 같은 다양한 유형의 알림을 지원합니다. ElastAlert는 알림을 트리거하기 위한 조건 및 임계값을 정의하기 위한 복잡한 규칙 구성을 허용합니다. 그러나 Grafana는 주로 시각화 및 모니터링에 중점을 두고 있으며 일부 알림 기능이 있지만 ElastAlert가 제공하는 기능만큼 광범위하지는 않습니다.
– 실시간 데이터 분석 : ElastAlert는 실시간 데이터 분석 및 알림을 허용합니다. 지속적으로 Elasticsearch 데이터 스트림을 모니터링하고 정의된 규칙에 따라 즉시 알림을 트리거할 수 있습니다. 반면 Grafana는 과거 데이터 분석 및 시각화에 더 적합합니다. Graphite라는 메모리 내 시계열 데이터베이스를 활용하는데, 이는 대량의 데이터를 처리할 수 있지만 ElastAlert처럼 실시간 분석을 제공하지 못할 수 있습니다.
– 규칙 구성 : ElastAlert는 YAML 기반 구성 파일을 사용하여 알림 규칙을 정의합니다. 이러한 규칙에는 Elasticsearch 데이터를 분석하기 위한 조건, 임계값, 시간 간격 및 기타 매개변수가 포함됩니다. 반면 Grafana는 대시보드 및 알림을 구성하기 위한 웹 기반 그래픽 인터페이스를 제공합니다. 사용자가 쿼리를 작성하고 필터를 시각적으로 적용할 수 있으므로 비기술 사용자가 알림을 설정하기가 더 쉽습니다.
– 데이터 시각화 : Grafana는 광범위한 그래프, 차트, 패널을 포함한 풍부한 기능 세트로 데이터 시각화에 탁월합니다. 사용자가 데이터 시각화의 레이아웃과 모양을 사용자 정의할 수 있는 대화형 대시보드를 제공합니다. 알림에 중점을 둔 ElastAlert는 Grafana만큼 많은 시각화 옵션을 제공하지 않습니다.
– 커뮤니티 및 지원 : ElastAlert와 Grafana는 모두 활발한 커뮤니티와 좋은 지원 채널을 보유하고 있습니다. 그러나 Grafana는 광범위한 문서, 플러그인 및 리소스를 제공하는 더 크고 성숙한 커뮤니티를 보유하고 있습니다. Elasticsearch 기반 알림을 위한 전문 도구인 ElastAlert는 Grafana에 비해 상대적으로 작은 커뮤니티와 리소스가 있을 수 있습니다.
요약하자면, ElastAlert는 Elastic Stack과 긴밀하게 통합된 전문화된 알림 프레임워크로, 광범위한 알림 기능과 실시간 데이터 분석을 제공합니다. 반면, Grafana는 더 광범위한 통합 옵션과 과거 데이터 분석에 중점을 둔 다재다능한 데이터 시각화 및 모니터링 도구입니다.