Metatron Anomaly 소개

이상 탐지 확장팩 Anomaly는 Machine Learning 예측 모델을 기반으로 데이터 흐름의 비정상적인 상황을 감지하여 사용자가 즉각적으로 확인할 수 있도록 도와주는 도구입니다.

기본 원리

아래 그림과 같이 Anomaly는 대상 데이터 소스의 집계값을 실시간으로 예측하고 실제 값을 모니터링합니다.

aggregation monitoring

여기서 Predict로 표시된 값은 머신러닝 기반으로 예측한 데이터 집계값이고, Actual로 표시된 값은 실제로 모니터링한 결과 값입니다. 아래 그림과 같이 두 값 간의 격차가 커질수록 total abnormal score가 증가하게 됩니다. 즉, 실제치가 예상치와 다르면 데이터 집계값이 그만큼 정상 범위를 벗어났다고 간주하는 것입니다.

total abnormal score

이 예시에서는 abnormal score가 20점에 도달하면 Low 레벨의 알람을 발생시키고, 40점을 넘으면 Moderate, 60점을 넘으면 Major, 80점을 넘으면 Critical 알람을 발생시키도록 설정되어 있습니다. traning data에 따르면 사용자들은 4월 6일 15시에 Critical 등급의 알람을 받았을 것이라고 예측할 수 있습니다.

이렇게 설정된 알람 룰은 데이터가 갱신되면서 알람을 발생시키고 다양한 채널로 사용자에게 통보됩니다. 따라서 관련 시스템 운영자 및 사용자들은 데이터 이상 상황에 즉각 대처할 수 있습니다.

주요 기능

Anomaly의 주요 기능은 다음과 같습니다.

  • Auto Machine Learning : 머신러닝 기반 예측 모델을 자동으로 추천하여 사용자 편의성 증진

  • Alarm & Report : 비정상적인 상황 발생 시 즉각 알람 발생 및 보고서 생성 지원

  • Analyze : 데이터 원천을 분석할 수 있는 실시간 대시보드 및 실시간 검색 기능 지원

  • Link with Learning System : 신규 알고리즘 모델을 적용할 수 있도록 3rd-party 시스템 연계를 지원

구조

Anomaly의 메뉴 구성은 다음과 같이 크게 이상 탐지와 데이터 관제두 개의 카테고리로 나누어 집니다.

metatron anomaly structure

Anomaly Detection 메뉴에서는 전반적인 이상 탐지 알람 통계(Statistics), 발생한 알람들의 정보(Alarm), 알람이 발생하는 규칙 설정(Alarm Rule), 신규 알고리즘 추가(Algorithm)를 지원합니다.

Data Monitoring 메뉴에서는 알람이 발생할 경우 데이터 소스 원천에 대해서 분석할 수 있도록 실시간 대시보드(Dashboard)와 원천을 쿼리할 수 있도록 하는 실시간 검색(Search) 기능을 제공합니다.

주요 메뉴 간 이동이 간편하고 세부 항목 간 참조 기능이 구축되어 있어 발생한 알람 내역 및 설정된 알람 룰, 그리고 전반적인 알람 현황 간의 유기적인 파악이 용이합니다. 또한 알람 발생 시 동일한 시스템 내에서 원천을 탐색할 수 있는 기능도 있어서 원인 파악에 더욱 용이합니다.