빅데이터 분석 플랫폼(1)

빅데이터 분석 플랫폼

새로운 비즈니스적 가치를 창출할 수 있는 데이터 프로세스 환경

데이터의 수집, 저장, 처리, 관리, 분석 등의 역할을 수행하는 것

 

분류

1.빅데이터 관리 플랫폼: 데이터의 수집, 관리, 처리, 저장 등의 프로세스를 지원

2. 빅데이터 분석 플랫폼: 데이터의 분석 프로세스를 지원

 

빅데이터 플랫폼

수집 > 저장 > 처리, 관리 > 분석 > 활용

수집: 정형데이터 , 비정형 데이터

저장: 분산 파일 시스템, NoSQL, 병렬 DBMS

 

빅데이터 수집

다양한 데이터들을 온라인 소스, Open API 등을 통해 수집하는 것

수집하는 데이터는 정형 및 비정형 데이터로 구분

-정형 데이터: 고정된 필드에 저장된 테이블형 데이터

-비정형 데이터: 미리 정의된 방식으로 구조화되지 않은 데이터

 

빅데이터 저장

데이터를 단순 저장하는 것 이상으로 향후 안전하고 효율적으로 데이터 분석에 적용할 수 있도록 저장하는 것

대용량의 댜양한 데이터를 파일 형태로 저장할 수 있는 기술과 비정형 데이터를 정형화된 데이터로 저장하는 기술 중요

방법론으로는 분산파일 시스템, 병렬DBMS, 네트워크 구성 저장 시스템 등 존재

 

빅데이터 처리 및 관리

저장된 빅데이터에서 의미 있는 가치와 유용한 정보를 찾아낸기 위한 데이터 가공 및 분석 지원

대량의 데이터에 대해 빠른 처리를 통해서 사용자의 요구정보를 즉각적으로 처리하는 것이 중요

파이프라인: 데이터 수집, 저장, 처리, 모델링 등을  자동으로 처리 수집하는것

빅데이터 분산 병렬 및 실시간 데이터 처리를 위함

 

빅데이터 분석

머신러닝 기반의 예측 모델, 자연어 처리, 비전 러닝 등의 분야로 데이터를 효율적으로 분석하여 가치를 창출하여 비즈니스에 적용하는 것

방대한 양의 비정형 데이터에서 정확한 정보 추출을 위해 분석 기술역량의 확보가 매우 중요

대용량의 데이터 처리에 적합하도록 기존 분석 알고리즘을 분석. 활용

최근에는 AI 기반으로 분석 및 예측 기술이 크게 발전

SOTA 알고리즘(paper with code)

예측 모델: 지도(예측 대상이 존재), 비지도(예측 대상이 존재 X) 학습, 시계열 예측, 공정 효율화(에너지 사용량 예측), 비즈니스 데이터(고객 데이터, 거래, 상품, 고객 등급, 추천 시스템) 기반 예측 등의 범위를 포함

자연어 처리

텍스트 분류, 토픽 모델링, 기계 번역, 문서 요약, 챗봇(생성), QA 모델(생성) 등의 범위 포함

비전러닝: 이미지 분류, 객체 탐지, 세그멘테이션(분할/구역을 나눔), 어노테이션 등의 범위를 포함

빅데이터 분석 기술

R, Python, Tensorflow, Keras, Pythorch, SPSS, Rapidminer 등 활용

 

시장의 성장 동력

데이터 관리 기술 역량 확보, 데이터 활용 생태계 성장(AI hub), AI 연계 분석 기술 고도화, 정책 지원