빅데이터 이해하기
초보자를 위한 빅데이터 이해하기
실시간 분석 IoT 빅데이터 발표자료
데이터 사이언티스트의 역할
성공적인 빅데이터 활용 3대요소
R, 그리고 빅데이터 | R 시각화 1, 2, 3
하둡 플랫폼의 활용 | 이교수의 멘붕하둡
블록체인 이해하기
음원 차트 1위 했다고 저작권 대
‘화가 등단’ 박기웅, 도슨트
계약기간 끝났는데… 法, '신수
'이건희 컬렉션' NFT 로 판다
‘억 소리’ 나는 그림 ‘아트테
NFT에 꽂힌 게임사, 블록체인 차
‘세기의 대결’ 이세돌 vs 알파
[강의]빅데이터의 소스 유형 정리

빅데이터 활용방향과 인사이트 도출
데이터 3대 분석기법간 관계



 
작성일 : 15-12-07 13:19
hive와 hbase에 관한 질문
 글쓴이 : 하둡초보개발…
조회 : 3,081  
안녕하십니까. 현재 빅데이터 시스템 구축중인 하둡 초보 개발자입니다. 

시스템 구축 중 궁금점이 생겨 질문 드립니다.

hive와 hbase를 연동해서 사용할 때 제가 알고 있는 아키텍쳐는 hdfs에 있는 파일을 hbase로 import(?) 하고 hive로 hbase 테이블을 access하여 output을 내는 걸로 알고 있습니다.

그런데 hive에서 hdfs에 바로 load할 수도 있는데 왜 hbase와 연동을 하는지 이유가 궁금합니다.

제가 조금 조사한 바로는 hbase를 연동하는 것이 hive만 사용하는 것보다 4~5배가 느리다고 나와있는데요.

mapreduce(hive)와 NoSQL을 병합했을 시 장점이 있는건가요?

조금의 힌트라도 감사하게 생각하며 답변 부탁드리겠습니다.

감사합니다. 


게시글을 twitter로 보내기 게시글을 facebook으로 보내기 게시글을 Me2Day로 보내기 게시글을 요즘으로 보내기
ygji 15-12-07 14:51
답변 삭제  
하둡과 HBASE 각각의 장단점을 비교해보면 됩니다.

하둡은 전체 또는 특정기간의 데이터이 순차적으로 모든 확인하는 프로세스에 유리하고, 데이터는 업데이터가 되지 않습니다.  특정 데이터만은 조회하는데는 비효율적임.

HBASE ( NoSQL )은 데이터가 구조화되어 있고 Primary키를 가지고 있어서 특정 데이터만을 빠르게 가지고 올수 있으면  특정 데이터의 값을 업데이터 할수 있습니다.

HIVE로 HDFS 와 HBASE에 접근할때도 이 특성이 그대로 발생합니다.
 
 

전체 176 건
번호 제목 작성자 작성 조회
176 아주 기초적인 질문입니다. (1) 비틀비틀 07-05 4536
175 spark -> hbase 성능 질문 셔틀랜드 08-04 5887
174 Azkaban 병렬 스캐쥴 잡 등록 문의 우리집미니 03-07 7937
173 hive와 hbase에 관한 질문 (1) 하둡초보개발… 12-07 3082
172 hive 통계 배치 Tool 질문 (2) chosuky 11-23 3246
171 mapreduce와 hive관련 초보개발자의 질문입니다. (2) 하둡초보개발… 11-17 1654
170 하둡과 클라이언트 연동에 관한 초보 질문 (2) 하둡초보개발… 11-09 2068
169 하둡실행시에 jps치면 (1) 우아얌 11-03 1746
168    하둡실행시에 jps치면 (2) 우아얌 11-04 2644
167 데이터 처리 구조 구축 관련! hdfs, spark (1) 감자고구마 10-28 2432
166 하둡 실행이 안됩니다. (2) 우아얌 10-01 1606
165    하둡 실행이 안됩니다. (1) 우아얌 10-03 1414
164 HDFS 포맷, 실제 볼륨드라이브를 포맷? 아니면 특정 디렉토리를 … (1) 제임스윤 07-21 2223
163 고급 MapReduce 프로그램 책입니다. 2번째 (3) 태운아빠 05-06 2654
162 고급 MapReduce 프로그램 책입니다. (7) 태운아빠 05-06 3000
 1  2  3  4  5  6  7  8  9  10