데이터 모니터링 -------------------------------------- 데이터 모니터링은 Metatron Workbench에서 유저가 Staging DB(내부 Hive DB) 및 Metatron과 연결된 외부 데이터베이스에 질의하는 모든 로그를 관측하는 기능입니다. 데이터 모니터링 메뉴는 메인 화면 좌측 패널에서 **MANAGEMENT** > **데이터 스토리지** > **데이터 모니터링**\을 통해 진입할 수 있습니다. .. figure:: /_static/img/discovery/part02/data_monitoring_menu.png 로그 통계 ================================ 로그 통계에서는 Metatron Discovery 내 쿼리 수행과 관련된 각종 통계치를 모아서 보여줍니다. 여기에서는 아래와 같이 총 9가지의 기본 통계를 조회할 수 있습니다. .. figure:: /_static/img/discovery/part02/log-statistics.png #. **쿼리 성공/실패율:** Metatron에서 실행된 쿼리들의 성공률과 실패율이 나타납니다. #. **사용자 별 쿼리 빈도 수:** 쿼리를 수행한 사용자별 빈도수를 나타낸 그래프입니다. 표시된 막대 중 하나를 클릭하면 해당 사용자가 실행한 Job Log를 볼 수 있습니다. #. **오래 걸리는 순:** 수행한 쿼리들이 작업시간이 긴 순서대로 정렬되어 나타납니다. #. **스캔 데이터량:** 수행한 쿼리들이 데이터를 제일 많이 스캔한 순서대로 정렬되어 나타납니다. #. **성공한 쿼리 빈도:** 수행한 쿼리들이 성공한 빈도가 높은 순서대로 정렬되어 나타납니다. #. **실패한 쿼리 빈도:** 수행한 쿼리들이 실패한 빈도가 높은 순서대로 정렬되어 나타납니다. #. **총 메모리 사용량:** 수행한 쿼리들이 총 메모리 사용량이 큰 순서대로 정렬되어 나타납니다. #. **총 CPU 사용량:** 수행한 쿼리들이 총 CPU 사용량이 큰 순서대로 정렬되어 나타납니다. #. **Queue별 리소스 사용량:** Hadoop 환경의 각 YARN queue에서 소모되는 리소스량을 보여줍니다. 잡 로그 ================================ 본 메뉴에서는 Metatron에서 수행된 모든 쿼리의 내역을 조회할 수 있습니다. 쿼리 이력을 원하는 조건으로 검색하여 기존에 발생한 job 이력을 손쉽게 찾아볼 수 있습니다. 아래는 검색이 가능한 job 조건들입니다. .. figure:: /_static/img/discovery/part02/job-logs.png #. **상태:** 수행된 쿼리들을 성패 기준으로 선별하여 조회합니다. #. **Limited elapsed time:** 수행 시간이 오래 소요된 쿼리들을 선별하여 조회합니다. 기준 시간은 원하는 대로 설정 가능합니다. #. **Performed start Time:** 쿼리 조회 시 적용되는 시간 기준입니다. 여기서의 시간은 각 쿼리가 수행을 시작하는 시간을 기준으로 합니다. #. **Job 또는 어플리케이션으로 검색:** 현재 이력으로 남은 쿼리들을 쿼리문 또는 Application ID로 검색합니다. #. **데이터 개수:** 현재 목록에 조회된 쿼리의 개수를 나타냅니다. #. **Job 목록:** 설정한 선별 조건에 맞는 쿼리들을 보여줍니다. 이 중 하나를 클릭하면 상세 내역을 볼 수 있습니다. 쿼리 상세 정보 ^^^^^^^^^^^^^^^^^^^^^^^^^^^ 잡 로그 홈에 열거된 쿼리 중 하나를 클릭하면 해당 쿼리에 관한 다양한 정보와 이력을 확인할 수 있습니다. 상세 내역에서 조회 가능한 정보는 다음과 같습니다. .. figure:: /_static/img/discovery/part02/job-log-detail.png .. 그림 다시 #. **상태:** 해당 쿼리의 성공 여부를 나타냅니다. #. **잡 이름:** 수행된 쿼리문입니다. #. **시작시간:** 해당 쿼리가 수행되기 시작한 시간을 나타냅니다. #. **작업시간:** 해당 쿼리가 수행되는 데 걸린 시간을 나타냅니다. #. **사용자:** 해당 쿼리를 수행한 사용자 ID입니다. #. **커넥션:** 워크벤치에서 실행된 쿼리일 경우, 대상 데이터 커넥션의 정보를 나타냅니다. #. **동일 커넥션의 최근 사용 기록:** 워크벤치에서 실행된 쿼리일 경우, 해당 데이터베이스에서 수행된 최근 5건의 쿼리 내역과 그 결과가 나타납니다. Detail을 클릭하면 해당 쿼리문이 새 창에 출력됩니다. #. **플랜:** 쿼리 수행 계획을 실행합니다.