빅데이터 이해하기
초보자를 위한 빅데이터 이해하기
실시간 분석 IoT 빅데이터 발표자료
데이터 사이언티스트의 역할
성공적인 빅데이터 활용 3대요소
R, 그리고 빅데이터 | R 시각화 1, 2, 3
하둡 플랫폼의 활용 | 이교수의 멘붕하둡
블록체인 이해하기
블록체인 2019
비트코인, 블록, 체인, 분산장
블록체인 비즈니스 모델
문과생 블록체인 이해하기 도서
스톡옵션 관련 정리 1
창업자 필수 성장통 13가지
블록체인 DApp 서비스 UX 개선을
[강의]빅데이터의 소스 유형 정리

빅데이터 활용방향과 인사이트 도출
데이터 3대 분석기법간 관계



 
작성일 : 13-03-18 16:53
빅데이터 핵심 기술들
 글쓴이 : 빅데이터
조회 : 1,560  
   http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=029&… [282]
■ 빅데이터 IT산업 중심에 서다

빅데이터를 효과적으로 분석, 활용하기 위해서는 이에 걸맞게 새로운 기술과 기법, 솔루션이 요구된다. 빅데이터 분석 기술은 오픈소스 소프트웨어 형태로 발전한 경우가 많은데, 이를 제대로 다루기 위해서는 상당한 노력이 필요하다. 최근 분산처리 기술인 하둡(Hadoop), NoSQL(Not only SQL), 빠른 분석을 위한 인메모리(In-Memory) 기술 등이 주요 빅데이터 관련 기술로 각광받고 있다.

x86서버로 묶어 대형 스토리지 구성

◇하둡=방대한 분석 대상 자료를 저렴하게 처리해야 할 필요성에 의해 개발됐다. 하둡은 대량의 자료를 저렴한 x86서버로 가상으로 묶어 대형 스토리지를 구성하고, 저장된 거대한 데이터 세트를 간편하게 분산처리하는 역할을 한다.

하둡은 구글이 개발한 맵리듀스(Mapreduce)를 오픈소스로 구현한 결과물로, 야후에서 처음 개발됐고, 현재는 아파치소프트웨어재단에서 관리하고 있다.

저렴하게 빅데이터 시스템을 구축할 수 있는 장점 때문에 적용하려는 기업이 늘어나고 있으며, 하둡 기술을 적용했느냐를 기준으로 빅데이터 프로젝트냐 아니냐를 가르는 경우가 있을 정도로 현재 대표적인 빅데이터 기술로 자리잡고 있다.

대규모 데이터 유연하게 처리

◇NoSQL=전통적인 관계형 데이터베이스관리시스템(RDBMS)을 대신해 효과적으로 빅데이터 분석을 할 수 있는 기술로 최근 각광받고 있다. NoSQL은 RDBMS와는 다른 사상에서 설계된 비관계형 DBMS로, 대규모의 데이터를 유연하게 처리할 수 있는 것이 장점이다.

RDBMS가 모든 노드는 같은 시간에 같은 데이터를 보여줘야 하고, 일부 노드가 다운돼도 다른 노드에 영향을 주지 않아야 한다는 것에 중점을 둔 반면, NoSQL은 네트워크 전송 중 일부 데이터가 손실돼도 시스템은 정상적으로 동작해야 한다는 것에 중점을 둔다. 워낙 방대한 데이터를 다루기 때문에 이중 극히 일부 데이터가 처리되지 않더라도 분석 결과에 미치는 영향이 미미하다는 것을 전제로 한 접근법이다.

NoSQL은 오픈소스SW로, 상용 DBMS에 비해 저렴한 것도 장점이다. 카산드라, 몽고DB, H베이스 등 NoSQL의 기본 사상을 담은 여러 개발 프로젝트가 운영되고 있다.

데이터 검색시간 크게 줄여

◇인메모리=메모리상에 필요한 데이터와 이의 인덱스를 보관함으로써 별도 저장공간에 데이터를 보관했다가 필요할 때 불러들이는 기존 방식에 비해 데이터 검색시간을 크게 줄일 수 있다. 이 때문에 방대한 데이터를 처리해야 하는 빅데이터에 어울리는 기술로 꼽힌다.

이밖에 오픈소스 데이터 분석엔진인 `R'도 주목받고 있다. R 언어와 개발환경을 통해 기본적인 통계기법부터 모델링, 최신 데이터 마이닝, 시뮬레이션, 수치해석 기법까지 구현할 수 있어 구글, 페이스북, 아마존 등이 대용량 데이터 통계분석과 데이터 마이닝 등에 사용하면서 관심을 받고 있다. [이 게시물은 빅데이터님에 의해 2018-03-09 22:10:25 개발자토크에서 이동 됨]
게시글을 twitter로 보내기 게시글을 facebook으로 보내기 게시글을 Me2Day로 보내기 게시글을 요즘으로 보내기
 
 

전체 239 건
번호 제목 작성자 작성 조회
239 빅데이터 & 머신러닝 국비지원 무료교육 아이티윌교육 09-29 363
238 [빅데이터 아카데미] 금융·의료·유통 빅데이터 분석 전문가/빅… RWDAS 07-29 1214
237 [빅데이터 아카데미] 제1회 빅데이터 제조·기획 분야 전문가 과… RWDAS 06-23 1759
236 ★★★ 2019년~ 최고의 웹사이트와 모바일앱을 찾습니다 ★★★ 한국인터넷전… 10-22 2390
235 시각화 비즈니스 대시보드를 시작하는 비기너를 위한 가이드 올리비아 09-23 2125
234 빅데이터 및 블록체인 교육 안내 행복만땅 07-24 2302
233 [기상청X다음소프트XGS25·랄라블라] 2019 날씨 빅데이터 콘테스… 다우 05-31 1702
232 SK(주) C&C | 직무소개 영상 4편 [빅데이터] 와리바시 05-27 1743
231 [데이터랩] 현직개발자의 드립력으로 배우는 쉽고 재미있는 빅데… (1) findme 01-15 1623
230 "빅데이터 비즈니스 멘토링" BIGTORY 4기 예비창업자과정 참가자… 빅데이터팀 03-21 1737
229 EMC, 클라우드 교육·자격증 과정 신설 빅데이터 12-28 5011
228 구글, 연구용 하둡 클러스터 서비스 중단 빅데이터 12-28 2358
227 “향후 5년 간 데이터 과학자 수요 폭발적으로 늘어날 것” 빅데이터 12-06 2499
226 대한민국 SW개발자여 "다시 일어나라" (1) 빅데이터 11-25 3666
225 페이스북-트위터 DB기술 핵심 NoSQL ‘카산드라 완벽 가이드’ (1) 빅데이터 11-25 7306
 1  2  3  4  5  6  7  8  9  10