액션 노드¶
Integrator의 액션 노드들(action nodes)은 원천 데이터를 Hadoop 클러스터에서 수집·가공·적재하기 위한 각각의 연산처리 작업을 정의합니다. 아래와 같이 여러 가지 Hadoop 작업과 몇몇 추가적인 개별 시스템 작업(Java, Shell 등)을 지원합니다.
Sqoop¶
RDB 상의 데이터를 가져오거나 간단한 쿼리를 실행할 수 있는 task 입니다.
MR¶
Local에 있는 jar를 실행하는 데 사용합니다.
EXEC¶
Python, shell 등 로컬에 있는 파일을 실행하는데 사용합니다.
Java¶
Java Task는 Java Class를 실행하고자 할 때 사용합니다. (단, main 함수가 구현되어 있어야 합니다.)
HIVE Query¶
Hive 쿼리를 실행할 때 사용합니다.
SSH¶
원격지(remote)에 있는 명령어를 실행할 때 사용합니다. 다만, remote 서버는 SSH password-less login 설정이 되어 있어야 합니다.
Spark¶
SPARK를 실행하는데 사용합니다.
Sub-Workflow¶
기존 만들어진 Workflow와 연계 시 사용됩니다. 여러개의 Workflow 를 묶어서 실행하고자 할 때 각각의 Workflow 를 Task 로 정의합니다.
DistCp¶
Source Hadoop Cluster 에서 Target Hadoop Cluster에 파일 복사시 사용합니다.
HDFS¶
Hadoop File 관리시 사용합니다.
Done¶
완료시 Done 파일을 생성합니다.
Druid¶
Druid 엔진에 데이터 증분적재하기 위해 사용합니다.