middlemoon

이 책의 구성 1편 제 1장 빅데이터의 기초 지식 재 2장 빅데이터의 검색 제 3장 빅데이터의 분산처리 2편 제 4장 빅데이터의 축적 제 5장 빅데이터의 파이프라인 제 6장 빅데이터 분석 기반의 구축 제 4장 빅데이터의 축적 데이터의 전송에는 벌크 형과 스트리밍 형의 두 종류의 도구가 사용된다. 빅데이터는 대부분 확장성이 높은 '분산 스토리지(distributed storage)'에 저장되곤 한다. 여기서 새롭게 나오게 되는 객체 스토리지(object storage)라는 개념이 등장하곤 하는데, 객체 스토리지는 (사진, 영상, 메일, 웹 페이지, 데이터 및 오디오 파일) 다량의 비정형 데이터를 생성하고 분석하는 역할을 하게 된다. 객체 스토리지에 담겨 빅데이터는 확장성의 개념이 존재하므로 분산(distr..

이 책의 구성 1편 제 1장 빅데이터의 기초 지식 재 2장 빅데이터의 검색 제 3장 빅데이터의 분산처리 2편 제 4장 빅데이터의 축적 제 5장 빅데이터의 파이프라인 제 6장 빅데이터 분석 기반의 구축 제1장 빅데이터의 기초 지식 제1장 - 빅데이터의 주요 역사? 2011년까지는 Hadoop, NoSQL 2012년까지는 클라우드 방식의 데이터 웨어하우스나 BI도구의 보급 2013년부터 스트림 처리나 애드 혹 분석 환경 확충 빅데이터가 많이 알려지게 된 기간은 2011년 후반에서 2012년에 걸쳐 데이터 처리에 분산 시스템을 도입하기 위해 접근성이 더욱 컸었다. 허나, 빅데이터의 취급이 어렵게 된 이유는 크게 두가지인데 1. 데이터의 분석 방법을 모른다는 점 2. 데이터 처리에 수고와 시간이 걸린다는 점을 ..