데이터 모니터링¶

데이터 모니터링은 Metatron Workbench에서 유저가 Staging DB(내부 Hive DB) 및 Metatron과 연결된 외부 데이터베이스에 질의하는 모든 로그를 관측하는 기능입니다.

데이터 모니터링 메뉴는 메인 화면 좌측 패널에서 MANAGEMENT > 데이터 스토리지 > 데이터 모니터링을 통해 진입할 수 있습니다.

로그 통계¶

로그 통계에서는 Metatron Discovery 내 쿼리 수행과 관련된 각종 통계치를 모아서 보여줍니다. 여기에서는 아래와 같이 총 9가지의 기본 통계를 조회할 수 있습니다.

쿼리 성공/실패율: Metatron에서 실행된 쿼리들의 성공률과 실패율이 나타납니다.

사용자 별 쿼리 빈도 수: 쿼리를 수행한 사용자별 빈도수를 나타낸 그래프입니다. 표시된 막대 중 하나를 클릭하면 해당 사용자가 실행한 Job Log를 볼 수 있습니다.

오래 걸리는 순: 수행한 쿼리들이 작업시간이 긴 순서대로 정렬되어 나타납니다.

스캔 데이터량: 수행한 쿼리들이 데이터를 제일 많이 스캔한 순서대로 정렬되어 나타납니다.

성공한 쿼리 빈도: 수행한 쿼리들이 성공한 빈도가 높은 순서대로 정렬되어 나타납니다.

실패한 쿼리 빈도: 수행한 쿼리들이 실패한 빈도가 높은 순서대로 정렬되어 나타납니다.

총 메모리 사용량: 수행한 쿼리들이 총 메모리 사용량이 큰 순서대로 정렬되어 나타납니다.

총 CPU 사용량: 수행한 쿼리들이 총 CPU 사용량이 큰 순서대로 정렬되어 나타납니다.

Queue별 리소스 사용량: Hadoop 환경의 각 YARN queue에서 소모되는 리소스량을 보여줍니다.

잡 로그¶

본 메뉴에서는 Metatron에서 수행된 모든 쿼리의 내역을 조회할 수 있습니다. 쿼리 이력을 원하는 조건으로 검색하여 기존에 발생한 job 이력을 손쉽게 찾아볼 수 있습니다. 아래는 검색이 가능한 job 조건들입니다.

상태: 수행된 쿼리들을 성패 기준으로 선별하여 조회합니다.

Limited elapsed time: 수행 시간이 오래 소요된 쿼리들을 선별하여 조회합니다. 기준 시간은 원하는 대로 설정 가능합니다.

Performed start Time: 쿼리 조회 시 적용되는 시간 기준입니다. 여기서의 시간은 각 쿼리가 수행을 시작하는 시간을 기준으로 합니다.

Job 또는 어플리케이션으로 검색: 현재 이력으로 남은 쿼리들을 쿼리문 또는 Application ID로 검색합니다.

데이터 개수: 현재 목록에 조회된 쿼리의 개수를 나타냅니다.

Job 목록: 설정한 선별 조건에 맞는 쿼리들을 보여줍니다. 이 중 하나를 클릭하면 상세 내역을 볼 수 있습니다.

쿼리 상세 정보¶

잡 로그 홈에 열거된 쿼리 중 하나를 클릭하면 해당 쿼리에 관한 다양한 정보와 이력을 확인할 수 있습니다. 상세 내역에서 조회 가능한 정보는 다음과 같습니다.

상태: 해당 쿼리의 성공 여부를 나타냅니다.

잡 이름: 수행된 쿼리문입니다.

시작시간: 해당 쿼리가 수행되기 시작한 시간을 나타냅니다.

작업시간: 해당 쿼리가 수행되는 데 걸린 시간을 나타냅니다.

사용자: 해당 쿼리를 수행한 사용자 ID입니다.

커넥션: 워크벤치에서 실행된 쿼리일 경우, 대상 데이터 커넥션의 정보를 나타냅니다.

동일 커넥션의 최근 사용 기록: 워크벤치에서 실행된 쿼리일 경우, 해당 데이터베이스에서 수행된 최근 5건의 쿼리 내역과 그 결과가 나타납니다. Detail을 클릭하면 해당 쿼리문이 새 창에 출력됩니다.

플랜: 쿼리 수행 계획을 실행합니다.