빅데이터 이해하기
초보자를 위한 빅데이터 이해하기
실시간 분석 IoT 빅데이터 발표자료
데이터 사이언티스트의 역할
성공적인 빅데이터 활용 3대요소
R, 그리고 빅데이터 | R 시각화 1, 2, 3
하둡 플랫폼의 활용 | 이교수의 멘붕하둡 		블록체인 이해하기
블록체인 2019
비트코인, 블록, 체인, 분산장
블록체인 비즈니스 모델
문과생 블록체인 이해하기 도서
스톡옵션 관련 정리 1
창업자 필수 성장통 13가지
블록체인 DApp 서비스 UX 개선을
 [강의]빅데이터의 소스 유형 정리

빅데이터 활용방향과 인사이트 도출
데이터 3대 분석기법간 관계



 
작성일 : 15-11-09 15:52
하둡과 클라이언트 연동에 관한 초보 질문
 글쓴이 : 하둡초보개발…
조회 : 1,416  
리눅스에 하둡을 설치하여 간단한 워드카운트부터 에코시스템까지 공부중인 초보 개발자입니다.

기본적인 워드카운트 테스트와 하이브에 데이터파일을 로드하여 select정도의 테스트만 한 상태입니다.

여기서 막히는 부분이 있어 질문드립니다.

1. 하둡서버가 실행된 상태에서 외부 브라우저에서 하둡서버IP:50070/dfshealth.jsp 등의 웹 인터페이스 화면을 접속하고 싶은데 주소를 찾지못합니다. 외부에서 관리 웹인터페이스에 접근을 할 수는 없는건가요?

2. 하둡서버와 spring 으로 연동할 때 어떤 방법들이 있는지 궁금합니다. (spring과 hive의 연동 등 몇가지 방법이 있는 것으로 알고있는데 정리가 잘 되지 않습니다.. )

질문이 이상하더라도 너그러이 이해해주시고 약간의 힌트라도 남겨주시면 감사하겠습니다. 
게시글을 twitter로 보내기 게시글을 facebook으로 보내기 게시글을 Me2Day로 보내기 게시글을 요즘으로 보내기
ygji 15-11-09 16:09
답변  
1. 하둡의 웹관리도구는 하둡이 실행되면서 같이 구동이 되고, 특별히 접근제한도 없습니다.
그래서, IP가 공인IP라면 어느곳에서도 접근이 가능합니다.  ip가 사설IP라던가, 포트가 방화벽에 막혀 있는지 확인해보세요.

2. projects.spring.io/spring-hadoop/ 를 참고하세요.

3. 요즘은 하둡은 거대 저장소로만 활용하고, 데이터 처리는 spark을 활용합니다.
  spark도 같이 공부하세요.
     
글쓴이 15-11-11 10:54
답변 삭제  
답변 정말 감사드립니다.

첫번째 문제는 hdfs-site의 설정 부분의 수정으로 해결했습니다.

감사합니다.
 
 

전체 176 건
번호 제목 작성자 작성 조회
176 아주 기초적인 질문입니다. (1) 비틀비틀 07-05 2844
175 spark -> hbase 성능 질문 셔틀랜드 08-04 3726
174 Azkaban 병렬 스캐쥴 잡 등록 문의 우리집미니 03-07 5069
173 hive와 hbase에 관한 질문 (1) 하둡초보개발… 12-07 2442
172 hive 통계 배치 Tool 질문 (2) chosuky 11-23 2588
171 mapreduce와 hive관련 초보개발자의 질문입니다. (2) 하둡초보개발… 11-17 1019
170 하둡과 클라이언트 연동에 관한 초보 질문 (2) 하둡초보개발… 11-09 1417
169 하둡실행시에 jps치면 (1) 우아얌 11-03 1129
168    하둡실행시에 jps치면 (2) 우아얌 11-04 2006
167 데이터 처리 구조 구축 관련! hdfs, spark (1) 감자고구마 10-28 1788
166 하둡 실행이 안됩니다. (2) 우아얌 10-01 983
165    하둡 실행이 안됩니다. (1) 우아얌 10-03 792
164 HDFS 포맷, 실제 볼륨드라이브를 포맷? 아니면 특정 디렉토리를 … (1) 제임스윤 07-21 1592
163 고급 MapReduce 프로그램 책입니다. 2번째 (3) 태운아빠 05-06 2020
162 고급 MapReduce 프로그램 책입니다. (7) 태운아빠 05-06 2373
 1  2  3  4  5  6  7  8  9  10    
and or