빅데이터 이해하기
초보자를 위한 빅데이터 이해하기
실시간 분석 IoT 빅데이터 발표자료
데이터 사이언티스트의 역할
성공적인 빅데이터 활용 3대요소
R, 그리고 빅데이터 | R 시각화 1, 2, 3
하둡 플랫폼의 활용 | 이교수의 멘붕하둡 		블록체인 이해하기
블록체인 2019
비트코인, 블록, 체인, 분산장
블록체인 비즈니스 모델
문과생 블록체인 이해하기 도서
스톡옵션 관련 정리 1
창업자 필수 성장통 13가지
블록체인 DApp 서비스 UX 개선을
 [강의]빅데이터의 소스 유형 정리

빅데이터 활용방향과 인사이트 도출
데이터 3대 분석기법간 관계



 
작성일 : 17-08-04 17:30
spark -> hbase 성능 질문
 글쓴이 : 셔틀랜드
조회 : 5,204  
서버는 총 6개 있습니다.

서버 성능은 전부 동일하며
cpu 1개, 4코어, 하이퍼스레드 사용으로 가상 8코어입니다.
메모리는 32기가
저장소는 SSD 500기가 

성능은 대략 위와 같습니다.

서버1 : NameNode, ResourceManager
서버2 : SecondaryNameNode, DataNode, NodeManager
서버3 : DataNode, NodeManager
서버4 : DataNode, NodeManager, HMaster
서버5 : DataNode, NodeManager, HRegionServer
서버6 : DataNode, NodeManager, HRegionServer

이렇게 구성되어있으며
1~6번서버까지 hadoop로 구성했습니다.
1~3번 서버가 spark, 4~6번서버가 hbase 를 구동합니다.

단순하게 스파크 쉘에서 for문으로 hbase에 저장한다고 했을 시
초당 최대 몇개까지 저장이 가능할까요??
현재 초당 2500건 정도 저장되는데 뭔가 성능이 안나오는거같아서요.

위 구성이 잘 구성되어있는지, 튜닝 시 고려해야할점은 뭐가있을까요?

아래와같은 방법으로 단순하게 구동했다는 가정입니다.

for (i <- 1 until 10001) {
val put = new Put(Bytes.toBytes())
hput.add(Bytes.toBytes(),Bytes.toBytes(),Bytes.toBytes())
htable.put(put)
}
게시글을 twitter로 보내기 게시글을 facebook으로 보내기 게시글을 Me2Day로 보내기 게시글을 요즘으로 보내기
 
 

전체 176 건
번호 제목 작성자 작성 조회
176 아주 기초적인 질문입니다. (1) 비틀비틀 07-05 4024
175 spark -> hbase 성능 질문 셔틀랜드 08-04 5205
174 Azkaban 병렬 스캐쥴 잡 등록 문의 우리집미니 03-07 6522
173 hive와 hbase에 관한 질문 (1) 하둡초보개발… 12-07 2777
172 hive 통계 배치 Tool 질문 (2) chosuky 11-23 2939
171 mapreduce와 hive관련 초보개발자의 질문입니다. (2) 하둡초보개발… 11-17 1351
170 하둡과 클라이언트 연동에 관한 초보 질문 (2) 하둡초보개발… 11-09 1765
169 하둡실행시에 jps치면 (1) 우아얌 11-03 1461
168    하둡실행시에 jps치면 (2) 우아얌 11-04 2345
167 데이터 처리 구조 구축 관련! hdfs, spark (1) 감자고구마 10-28 2130
166 하둡 실행이 안됩니다. (2) 우아얌 10-01 1311
165    하둡 실행이 안됩니다. (1) 우아얌 10-03 1126
164 HDFS 포맷, 실제 볼륨드라이브를 포맷? 아니면 특정 디렉토리를 … (1) 제임스윤 07-21 1934
163 고급 MapReduce 프로그램 책입니다. 2번째 (3) 태운아빠 05-06 2353
162 고급 MapReduce 프로그램 책입니다. (7) 태운아빠 05-06 2708
 1  2  3  4  5  6  7  8  9  10    
and or