빅데이터 이해하기
초보자를 위한 빅데이터 이해하기
실시간 분석 IoT 빅데이터 발표자료
데이터 사이언티스트의 역할
성공적인 빅데이터 활용 3대요소
R, 그리고 빅데이터 | R 시각화 1, 2, 3
하둡 플랫폼의 활용 | 이교수의 멘붕하둡 		블록체인 이해하기
[케이트의 아트마켓] 24. 경매에
‘조각 투자’로 현실에서는 불
[아트테크가 뭐길래] 어떻게 다
새 국민 응원가 나왔다···‘2
9000원 시집이 900만원으로… 국
법무법인 디라이트 "NFT 사업 위
45초 '땡'..단돈 10만원으로 투
 [강의]빅데이터의 소스 유형 정리

빅데이터 활용방향과 인사이트 도출
데이터 3대 분석기법간 관계



 
작성일 : 16-03-07 11:50
Azkaban 병렬 스캐쥴 잡 등록 문의
 글쓴이 : 우리집미니
조회 : 8,189  

a/b/c/d/e 라는 .job 파일이 있을때 

a잡이 실행한 후 b/c/d는 그룹으로 a에 상속되어 병렬처리 되고 그 뒤에 e 가 실행되게 하려면 

.job 파일 구성을 어떤 방식으로 해야 할까요 ? 


a < b/c/d  와 같이 dependencies를 설정하면 아래와 같이 각각 3개의 잡이 생성됩니다. 

a < b < e
a < c  < e
a < d  < e

제가 원하는 잡 형식은 첨부파일과 같은 b/c/d 병렬 처리 입니다. 

현재 잡 스크립트는 아래와 같습니다. 

***********************************************************
a.job

type=command
command=echo aaa


b.job

type=command
dependencies=a
command=echo bbb

c.job

type=command
dependencies=a
command=echo ccc


d.job

type=command
dependencies=a
command=echo ddd
 ******************************************************************

고수님들의 조언 부탁 드립니다. 
게시글을 twitter로 보내기 게시글을 facebook으로 보내기 게시글을 Me2Day로 보내기 게시글을 요즘으로 보내기
 
 

전체 176 건
번호 제목 작성자 작성 조회
176 아주 기초적인 질문입니다. (1) 비틀비틀 07-05 4786
175 spark -> hbase 성능 질문 셔틀랜드 08-04 6157
174 Azkaban 병렬 스캐쥴 잡 등록 문의 우리집미니 03-07 8190
173 hive와 hbase에 관한 질문 (1) 하둡초보개발… 12-07 3256
172 hive 통계 배치 Tool 질문 (2) chosuky 11-23 3416
171 mapreduce와 hive관련 초보개발자의 질문입니다. (2) 하둡초보개발… 11-17 1843
170 하둡과 클라이언트 연동에 관한 초보 질문 (2) 하둡초보개발… 11-09 2249
169 하둡실행시에 jps치면 (1) 우아얌 11-03 1915
168    하둡실행시에 jps치면 (2) 우아얌 11-04 2808
167 데이터 처리 구조 구축 관련! hdfs, spark (1) 감자고구마 10-28 2608
166 하둡 실행이 안됩니다. (2) 우아얌 10-01 1795
165    하둡 실행이 안됩니다. (1) 우아얌 10-03 1588
164 HDFS 포맷, 실제 볼륨드라이브를 포맷? 아니면 특정 디렉토리를 … (1) 제임스윤 07-21 2392
163 고급 MapReduce 프로그램 책입니다. 2번째 (3) 태운아빠 05-06 2816
162 고급 MapReduce 프로그램 책입니다. (7) 태운아빠 05-06 3166
 1  2  3  4  5  6  7  8  9  10    
and or