.. _action_nodes: 액션 노드 ----------------------------------------------------- Integrator의 액션 노드들(action nodes)은 원천 데이터를 Hadoop 클러스터에서 수집·가공·적재하기 위한 각각의 연산처리 작업을 정의합니다. 아래와 같이 여러 가지 Hadoop 작업과 몇몇 추가적인 개별 시스템 작업(Java, Shell 등)을 지원합니다. * `Sqoop`_ * `MR`_ * `EXEC`_ * `Java`_ * `HIVE Query`_ * `SSH`_ * `Spark`_ * `Sub-Workflow`_ * `DistCp`_ * `HDFS`_ * `Done`_ * `Druid`_ Sqoop =================================================== RDB 상의 데이터를 가져오거나 간단한 쿼리를 실행할 수 있는 task 입니다. MR =================================================== Local에 있는 jar를 실행하는 데 사용합니다. EXEC =================================================== Python, shell 등 로컬에 있는 파일을 실행하는데 사용합니다. Java =================================================== Java Task는 Java Class를 실행하고자 할 때 사용합니다. (단, main 함수가 구현되어 있어야 합니다.) HIVE Query =================================================== Hive 쿼리를 실행할 때 사용합니다. SSH =================================================== 원격지(remote)에 있는 명령어를 실행할 때 사용합니다. 다만, remote 서버는 SSH password-less login 설정이 되어 있어야 합니다. Spark =================================================== SPARK를 실행하는데 사용합니다. Sub-Workflow =================================================== 기존 만들어진 Workflow와 연계 시 사용됩니다. 여러개의 Workflow 를 묶어서 실행하고자 할 때 각각의 Workflow 를 Task 로 정의합니다. DistCp =================================================== Source Hadoop Cluster 에서 Target Hadoop Cluster에 파일 복사시 사용합니다. HDFS =================================================== Hadoop File 관리시 사용합니다. Done =================================================== 완료시 Done 파일을 생성합니다. Druid =================================================== Druid 엔진에 데이터 증분적재하기 위해 사용합니다.