빅데이터 분석도구

빅데이터 분석 도구

넓은 의미: 빅데이터 처리를 목적으로 하는 소프트웨어

좁은 의미: 구체화 업무에 적용되는 통계분석, 시각화, 구조 분석등 기타 특정 분석을 위한 솔루션

 

등장 배경: 테라바이트급(TB) 이상의 대용량 데이터 처리를 위해

 

가치 사슬 측면 - 데이터 관리

방대한 양의 빅데이터 부하를 처리할 수 있는 소프트 아키텍처

하둡, 스파크 같은 오픈소스 시스템

데이터베이스 처리 시스템 등 미들웨어 군에 속하는 제품들이 해당

 

-분산 컴퓨팅

분산 시스템을 연구하는 컴퓨터 사이언스의 한 분야

CPU들을 네트워크로 상호간 연결

전체 작업의 할당 리소스를 분할해서 더 빠르게 처리하는 방식

 

-병렬 컴퓨팅

다수의 컴퓨터 디바이스로 하나 혹은 그 이상의 작업 할당

한번에 더 많은 연산 처리 가능

더욱 더 신속한 연산 처리 가능

 

-스토리지 관리

시스템의 리소스 및 하드웨어를 관리하는데 필요한 모든 프로세스

안정성 및 보안성을 확보하고 비용, 성능, 용량 사이 최적의 균형을 추구

 

-데이터 통합

서로 다른 소스에 있는 데이터를 데이터베이스 형태로 통합

빅데이터와 기존 데이터 간의 상호 공유가 필요해짐에 중요성이 대두

정형(테이블 형태) 및 비정형 데이터를 스키마(특히 실시간 데이터 처리에서 중요)에 따라서 처리

 

-데이터 분석

대용량 데이터 대상

통계분석, 검색, 마이닝, 시각화 솔루션 (R, SPSS, TABLEAU: 데이터 시각화 솔루션)

 

=통계분석

데이터 수집 후 적절한 통계 기법을 활용하여 의사결정을 내리는 과정

회귀 분석, 빈도 분석, 평균 분석, 연관 분석 등이 있음

=데이터 마이닝

데이터의 속성을 분석하여 가치 있는 정보를 추출하는 과정

EDA, 다변량 분석, 시계열 분석 등 방법론 존재

=데이터 시각화 : 부석 결솨를 시각적으로 표현하고 전달하는 프로세스

 

애플리케이션: 실제로 적용되는 산업이나 활동 분야, 구체화된 업무에서 활용할 수 있는 소프트웨어 (UI /UX)

 

빅데이터 분석 도구 가치 사슬 측면 정리

데이터 관리	분산 및 병렬 컴퓨팅 시스템, 스토리지 관리, 데이터 통합, SQL (관계형 데이터베이스)시스템과 같은 인프라 소프트웨어
데이터 분석	데이터 자체를 대상으로 하는 검색, 마이닝, 통계분석, 시각화 솔루션
애플리케이션	산업 또는 활동 영역에 적용되는 소프트웨어

 

코딩 VS 노코딩 분석 도구

코딩 분석 도구	노 코딩 분석 도구
프로그래밍 언어가 필요	필요X
언어 습득 난이도가 높아 진입 장벽이 높음	쉽고 간단히 분석 가능
수정 및 유지 보수가 간단하고 넓은 범용성을 지님	플랫폼 내에 귀속되어서 확정성이나 연결성이 떨어짐

 

Open source vs Closed source

Open source 분석 도구	Closed source 분석도구
소스 코드가 공개된 소프트웨어	소스 코드가 공개되지 않는 소프트웨어
누구나 자유로운 확인, 수정, 배포 가능	확인, 수정, 배포에 제한이 있음
파이어폭스, 안드로이드, 리눅스 등 존재	윈도우, 어도비, MS오피스 등 존재

 

 

빅데이터 분석 솔루션

분석 도구를 활용하여 제공하는 특정 문제에 대한 해결책을 의미

일반적으로 패키지 단위의 분석 솔루션을 지원하며, 비용이 높음