Campanula

정치분야

버락 오바마 선거 캠프

보트 빌더 시스템

다양한 형태의 유권자 데이터베이스를 확보하여 이를 분석, 활용한 유권자 맞춤형 선거 전략 전개

기본 인적 사항으로 유권자를 분류하는 것을 넘어선 개념

유권자 성향까지 데이터를 수집

유권자 데이터베이스를 온라인으로 통합 관리하는 '보트 빌더' 시스템의 도움으로 유권자 성햐 분석, 미결정 유권자 선변, 유권자에 대한 예측 수행

설득이 가능한 층과 불가능한 층을 분류해 첫번째 집단을 우선공략

상대 후보의 지지층 가운데 지지의 강도가 약한 층을 설득

2014FIFA 월드컵

독일 국가대표팀 SAP 매치 인사이트

선수에게 센서, 축구공에도 센서 내장 사물 인터넷 (IoT) 연결

센서를 통해 데이터를 실시간으로 수집 및 분석

센서 1개가 만들어 내는 데이터는 1분에 총 1만 2천여개

데이터를 기반으로 포괄적인 분석 진행, 분석 결과는 감독과 코치들에게 실시간 전송

90분 경기 간 각 선수들은 432만 여개의 데이터를 생성 한팀에서 4968만 여개의 데이터를 생성

감독의 주관적 판단에 따라 전술이 결정됐던 것에 과학적 분석을 더할 경우 종합적 분석을 바탕으로 전량을 수립

세밀하게 분석, 예기치 못한 부상으로 전술을 유지하면서 선수를 교체해야 하는 경우에는 빅데이터 분석을 토대로 주전 선수와 움직임이 가장 유사한 선수로 교체

MLB(메이저 리그 베이스볼) 오클랜드 어슬레틱스

머니볼

경기 데이터를 철저하게 분석해 오직 데이터를 기반으로 적재적소에 선수들을 배치해 승률을 높인다는 게임 이름

저조한 구단 재정 상황에서도 최소 비용으로 최대 효과를 거둔 상황에서 유래

팀의 고액 연봉 선수를 트레이트하여 저평가된 저렴하고 출루율이 높은 선수를 영입

다섯 가지로 정의

1. 저평가 받는 출루율, 장타율 등의 통계를 중시

2. 가치가 지나치게 고평가 되어있는 것 과감히 배제

3. 유망주 지나치게 저평가, 좋은 유망주를 얻을 수 있으면 과감히 판매

4. 확실한 툴이 있으면 선수 영입

5. 잠재력 있는 고졸 선수의 가치가 고평가 되어 있기 때문에 상대적으로 잠재력은 낮아도 현재 능력이 좋은 대졸 선수를 드래프트

최하위에 그치던 팀을 4년 연속 포스트 시즌에 진출, 최초로 20연승

경영, 금융 분야에도 영향

자라(ZARA)

패스트 패션 시대에서의 빅데이터 활용

전 세계 매장에서 일일 판매량을 실시간으로 분석, 수요 예측하여 트렌디한 제품을 생산

스테디셀러의 공급을 늘리고 실적이 좋지 않으면 중단

즉각적 반응을 통해 생산량과 재고량 조절

어떤 옷이 피팅룸에 들어가는지 판매되는지 데이터 수집

초기 물량은 적게 가져가고 반응에 따라 신속하게 추가 생산을 하기 때문에 소진되지 않는 재고가 거의 없음

데이터를 통해 고객 파악, 분석 및 예측에 오류가 발생해도 빠르게 대응할 수 있는 시스템을 갖추었음

월마트

빅데이터 활용 수요 예측

빅데이터라는 단어가 등장하기 이전부터 빅데이터 분석을 활용

데이터 마이닝을 활용하여 제품추천을 제공하는 데 사용할 수 있는 패턴을 발견

기저귀와 맥주를 묶어 파는 기획 상품을 출시, 그 결과 매출이 폭증

이후 빅데이터 분석에 투자

지난 구매 이력이나 날씨 등 각종 데이터를 융합 및 분석 (요즘에는 시뮬레이션)

물량도 조절, 그 결과 물류 관리가 수월해 짐

허리케인이 닫칠 것이란 예보에 플래시와 맥주가 잘 팔릴 것이라 예측

과거 데이터에 기반을 두고 도출

전면에 맥주와 플래시를 배치한 결과 전 주의 같은 요일 대비 매출이 7배 상승

IBM

인공지능 의사 왓슨

의료분야에서 암환자 진료, 유전체 분석, 임상시험환자 매칭 등의 세가지 서비스를 제공

암관련 60만건의 의학적 근거, 300개 이상의 의학 학술지, 임상 실험 데이터로부터 1500만 페이지 분량의 자료를 학습

암환자의 데이터 기반으로 치료법 권고

치료법을 3단계로 권고, 각 치료법마다 근거 버튼을 삽입

왜 이러한 치료법을 권고하는지에 대해 학습했던 논문, 임상 연구 등의 결과 가이드라인 등의 근거 자료를 보여줌

(딥러닝으로 이유 찾기 어려움 ->explainable AI)

인간의 능력으로 따라가긱에는 불가능한 수준의 연구 결과들이 쏟아져 나옴

매일 같이 쏟아져 나오는 엄청난 분량의 암과 관련된 연구 논문들, 임상 시험 결과들을 환자의 치료에 빠르게 반영

아마존

고객 맞춤형 상품 제공

다양한 서비스를 제공

로딩 시간과 판매 사이의 상관관계 발견 (사용자 행동 분석)

페이지에 모든 정보가 0.6초 안에 보여질 수 있도록함

신한은행- 코드나인

고객의 성별, 연령, 소득, 지역 등을 뛰어넘어 고객의 소비 퍁컨과 트렌드의 흐름 분석, 비슷한 소비 패턴을 공유하는 집단을 남/여 각각 9개 그룹으로 분류한 고객 중심의 상품개발 체계

소비패턴 분석을 통해 남/ 여 각각 9개의 트렌드 코드를 보다 세분화해 업종을 재분류

고객의 최신 요구를 반영하고자 하는 마이크로 트렌드 산출

과거 이용 패턴으로 파악하기 힘든 것들을 SNS나 언론 기사 및 소비 트렌드 발표 자료 등을 통해 신속히 수집

요구가 높은 코드를 분석하여 신상품, 서비스 개발시 최대한 반영

엔씨소프트 - 게임 데이터 센터

국내 유일하게 자체 게임 데이터 센터 운영

원시 데이터 수집부터 의미 있는 정보로 시각화하기까지의 프로세스 책임

게임 개발과 비즈니스 영역을 접목해 데이터를 기반으로 신속하고 정확한 의사결정을 내릴 수 있도록 지원

게임에 최적화된 대용량 데이터 처리 기술과 관련 연구개발 능력 보유

게임 내 발생하는 로그와 데이터를 수집, 적재 및 가공

처리한 데이터로 통계리포트

게임 주요 지표와 게임 서비스 전체 현황에 대한 정보가 담김

위험에 대한 신속한 대응과 관리를 가능하게하는 모니터링 서비스 제공

부정행위탐지, 광고 마케팅 효과 분석, 웹에 올라오는 덱스트 데이터를 이용한 고객 동향 분석 등 게임에 관련된 형상을 모델링하고 이를 데이터 서비스로 개발

플레이 기록에 따라 유저가 다양한 보상을 얻을 수 있는 아이템: 다량의 분석을 통해 유저에게 아이템 제공

게임속 데이터를 분석해 가치 있는 정보를 도출해 게임 운영 및 신규 컨텐츠 개발에 활용

삼성화재 - 보험사기 탐지 시스템(IFDS)

빅데이터를 활용하여 보험사기를 적발

IFDS는 방대한 데이터를 활용하여 사기 고위험군을 자동으로 추출

가입자의 정보 및 사고경위 등 사고 관련 데이터를 수집 및 분석

허위 신고 판명

창원시 - NC 다이노스 야구장 입지 선덩

2014년 당시 새 야구장 입지 선정

1순위: 창원종합운동장

2순위: 마산종합운동잔

3순위: 진해 옛 육군 대학 터

일반적인 시각으로 창원종합운동장이 접근성이 가장 유리한 것으로 알려졌지만, 선정된 곳은 2순위였던 마산 종합 운동장

빅데이터 활용

공공데이터와 민간 데이터자료를 융복합 및 분석

세 후보지의 시간 거리 내 주거 인구와 직장인구(유동인구)를 추출

마산종합운동장: 41만, 18만

창원종함운동잔: 6만, 1만

기존 1순위였던 창원종합운동장과의 차이가 심함

국민 건강알람 서비스 - 의료, 보건 분야에서의 빅데이터 활용

소셜 미디어 정보를 융합하여 주요 질병의 위험도 동향을 제공

주요 질병의 발생을 예측하고 알람을 제공

지역별 5가지의 발생 위험 정보를 지도 형태로 시각화

시군구 단위로 당일 또는 2일 후까지의 질병 발생 위험 정보도 알려줌

위험정보 4단계로 구분

각 단계별 질병 예방을 위한 행동 요령과 수칙을 제공

진료 동향, 대기 오염, 기상 정보 등도 안내

국토 교통부 - 교통 혼잡지도

도로의 혼잡상태를 GIS 지도상에 표출

전국 단위의 도로 혼잡 수준을 한 눈에 파악할 수 있는 지오

국내 최초로 교통 빅데이터 분석, 처리 기술을 이용한 교통 혼잡지도 개발

네비게이션 이용 차량의 이동궤적을 도로 구간에 분석

지도상에 특정 기간의 혼잡 강도를 파악할 수 있음

혼집강도: 해당 도로 구간을 이용한 전체 차량의 총 통행시간 대비 혼잡속도 이하로 주행한 차량의 총 통행시간의 비율

네비게이션 이동궤적이라는 빅데이터와 전국단위의 교통 네트워크 분석을 실현

세가지로 구성

빅 데이터베이스 시스템, 교통 혼잡 분석시스템, GIS기반 표출 시스템

교통망 성능을 평가할 수 있는 지표로 활용

정책효과를 적기에 파악

지속가능한 교통정책 수립에도 활용

롯데백화점 - VOC(Voice of customer) 데이터 랩

고객 컴플레인을 정형화 시키는 인공지능 분석 시스템

고객의 소리에 축적된 데이터를 유의미한 형태로 변환

비정형 텍스트 데이터를 정제해(워드 클라우드) 경영에 활용하는 것은 백화점 중 처음

시각화를 통해 데이터를 직관화

위험어 감지와 신규 불만 접수 알림기능을 탑재해 업무 활용도를 높임

기존 VOC 시스템은 고객 분류를 수작업에 의존

관리자의 주관이 개입될 여지 존재

수십만 개의 컴플레인이 VOC 데이터 랩을 통해 비즈니스 가치가 있는 데이터로 재탄생

충복 접수된 고객 불만은 실새간 겁색어 순위처럼 표현

고객 불만글의 핵심과 의도를 자동으로 파악, 글에서 나타나는 여러 의미를 통계적으로 분석

현장 업무 개선에 팔요한 메시지를 추출하는 것이 핵심

데이터 분석 프로세스 5단계: 문제 정의 > 데이터 수집 > 데이터 전처리 > 데이터 모델링 > 시각화 및 결론 도출

문제 정의 : 가장 중요한 부분

분석하고자 하는 분야 이해 

해결해야 하는 문제를 객관적이고 구체적으로 명시

프로젝트 설계에서 문제 정의가 제대로 선행되지 않으면 최종 단계에서 큰 문제가 발생할 수 있음

데이터 수집

분석에 필요한 데이터 조건을 정의

데이터 소재를 파악하고 확보하는 작업

-크롤링 : 뉴스, 블로그, 소셜 네트워크, 카페 등 인터넷 상에 존재하는 웹 문서의 데이터 수집, 상업적 사용시 저작권 문제

현재에는 공개된 데이터가 많아서 중요도가 떨어짐

- Open API : 공급운영주체가 데이터와 정보를 제공하기 위해 개발자와 사용자에게 오픈하는 것, 공개 API

- Log Aggregator: 다양한 로그 데이터를 수집하는 오픈 소스 기술, 기업에서 주로 사용

- RDB Aggregator: 관계형 데이터베이스(테이블 간 관계를 표현한 데이터)에서 정형 데이터를 수집해 하둡이나 NoSQL에 저장하는 오픈 소스 기술.

데이터 전처리

수집한 데이터에 존재하는 결측치나 누락된 값 등을 수정 및 보완

결측치 대체 및 이상치 유뮤 확인, 제거를 하는 데이터 클리닝 (데이터 정리, 데이터 모델링에 따라 전처리 방법이 차이가 난다.)

분산되어 있는 데이터를 일관성 있는 형태로 변환하는 데이터 통합

적은 양으로도 전체 데이터 집합을 얻는 과정인 데이터 축소

그외 다양한 데이터 전처리 방법이 존재

데이터 모델링

데이터를 활용해 비즈니스에 맞는 모델을 만들어 내는 단계

통계 기반, 데이터마이닝 기반, 머신러닝, 딥러닝 등 다양한 방법론이 존재

통계 분석 모델링

응용수학의 기법을 이용해 데이터로부터 수치상의 성질, 구칙성 또는 불규칙성을 발견함

특정 모집단에서 구한 표본을 가지고 그 모집단의 특징 및 가능성 등을 추론해내는 추론 통계가 존개

측정이나 실험에서 수집한 자료의 정리, 표현, 예약, 해석 등을 통해 자료의 특징을 규명하는 기술 통계가 존재

데이터마이닝 모델링

머신러닝 모델링

머신러닝: 경험을 통해 자동으로 개선하는 컴퓨터 알고리즘의 연구

데이터 마이닝과 도메인이 교차되는 경우가 있음

머신 러닝을 예측에 초점, 데이터 마이닝은 탐색적 분석에 초점

지도 학습(예측 대상 존재), 자율 학습, 준지도 학습, 강화 학습(ex) 알파고), 비지도 학습의 유형 존재

딥러닝 모델링

딥러닝(머신러닝 중 하나): 인공신경망에서 발전한 형태로, 은닉층(더 복잡한)이 2개 이상인 분석 알고리즘

딥러닝으로 훈련된 시스텡의 이미지 인식 능력은 이미 인간을 능가함

구글의 알파고는 바둑의 기초를 배워 강화학습을 통해 스스로 학습함

시각화 및 탐색(전 단계에서 사용)

데이터의 전반적 특성을 파악하기 위해 활용

다양한 유형의 데이터를 시각화할 수 있음

문제를 해결하기 위한 결론 도출

1854년 브로드 스트리트의 콜레라 사례: 모두 같은 우물을 식수로 사용했다는 것을 시각화를 통해 발견

크림 전쟁 군인 사망률: 나이팅게일은 데이터 시각화를 통해 높은 군인 사망률의 원인은 전쟁이 아닌 열악한 병원 상태라는 것을 밝혀냄 충분한 예방이 가능하다는 인사이트를 얻음

문제정의: 신제품의 초기 불량 발견을 위해 필요한 생산대수 및 주행거리를 측정하는 데 불필요하게 긴 시간 소모

데이터 수집: 자동차 부품에 센서를 탑재해 주행 시 발생하는 차량 데이터를 수집

데이터 전처리: 축적된 오류 데이터를 감시하고 진단하여 문제가 생겼던 코드는 따로 분류 및 분석

데이터 모델링: 수집된 운행 정보, 운전자의 운전 습관 등을 분석해 불량 탐지와 소비자 보상 규모의 정확한 측정에 활용

시각화 및 결론 도출: 데이터 분석 및 시각화 결과를 활용하여 인사이트 도출 

문제정의: 빅데이터 분석 도입 이전에는 공정상 불량 원인 분석에 다수의 숙련된 기술자가 필요

데이터 수집: 각 설비마다 발생하는 온도, 생산량 등의 로그 데이터 수집

데이터 전처리: 수집된 로그 데이터를 분석하기 위해 시계열 데이터 변환, 데이터 프레임 구조화 등 처리 작업

데이터 모델링: 전처리된 로그 데이터를 활용하여 공정 상황 모니터링 및 이상 탐지 시스템 구출

시각화 및 결론 도출: 데이터 분석 결과를 시각화하여 실시간으로 각 공정의 정상 작동 여부 파악이 가능해짐, 인력이 1명으로 축소

• 빅데이터의 역사 및 진화과정을 기술할 수 있다.
• 빅데이터의 발전 동력에 대해서 기술할 수 있다.
• 빅데이터의 다양한 특징을 기술할 수 있다.

빅데이터 : 거대한 데이터의 모음

데이터 센터

1940년대 : 에니악(ENIAC)이라는 거대한 데이터 센터에 뿌리를 둠.

1997년 ~ 2000년대 닷컴 버블: IT 회사들이 투자 받았던 자본을 데이터 센터에 투자

빅데이터 기술의 진화 과정

2005년: 페이스북, 유튜브의 등장으로 엄청난 양의 데이터가 생성

=>하둡, 스파크와 같은 빅데이터 처리를 위한 오픈 소스 프레임워크가 개발되면서 생성되는 데이터의 양이 크게 증가

클라우드, IoT, 머신러닝 기술의 등장으로 빅데이터의 가능성이 더욱 확장

구글 코랩: 파이썬을 웹상에서 사용(클라우딩 컴퓨터 소스 사용 가능)

2008년: 전 세계 서버가 매일 처리하는 데이터의 양은 9.57억 기가바이트

구글 회장 에릭 슈미트

"인류의 문명 이래 2003년까지 생성된 데이터가 2010년에는 불과 2일 만에 수집되고 있다."

2014년에는 PC보다 모바일 기기에서 네트워크 접속이 더 많아짐

IT(인포메이션 테크놀로지) ->DT(데이터 테크놀로지)

알리바바 그룹 전회장 마윈 : "세상은 지금 IT시대에서 DT시대로 가고 있다."

빅데이터 직무 관련 키워드

데이터 엔지니어(Data Engineer): 빅데이터 기반 전처리, DB 구축 및 관리, 예측, 최적화 등 작업 수행, 코드 작업 많이, 기존 알고리즘 활용

데이터 분석가(Data Analyst): 빅데이터 분석, 처리 및 요약, 정보 가공 및 의사 결정에 유용하게 활용될 수 있는 보고서 작성, 문서 작업 많이

데이터  과학자(Data Scientist): 예측 모델 설계, 데이터 탐구 및 분석, 새로운 알고리즘 및 모델 창안

발전 동력: 통실기술의 발달, 저장매체의 발달, 컴퓨팅 능력의 발달

빅데이터의 특징 - Volume

이전과는 비교도 되지 않는, 큰 규모의 데이터

트위터에서는 하루 평균 1억건의 데이터가 생성되며, 유튜브의 하루 평균 동영상 재생 건수는 40억 회를 넘음

수집, 저장되는 데이터의 규모가 테라, 페타, 엑사를 넘어 제타바이트 시대에 도달

디지털 정보단위

KB, MB, GB, TB, PB(페타), EB(엑사), ZB(제타), YB(요타)

전세계 클라우드에 발생되는 데이터 트래픽의 크기 단위가 제타바이트

빅데이터의 특징 - Variety

SNS의 발전으로 텍스트, 오디오, 비디오, 위치 정보 등 다양한 형식의 데이터가 발생

한 가지에 국한되지 않고 여러 형식을 가지는 것이 빅데이터의 특성

특히 기존의 정형 데이터의 틀을 넘어서 많은 종류의 비정형 데이터가 존재

정형 데이터 : 고정된 필드에 테이블 형태로 저장되는 데이터, 관계형 데이터베이스, 스프레드시트, 엑셀, CSV파일 등

로우의 개수가 데이터의 개수

비정형 데이터: 미리 정의된 방식으로 구조화되지 않은 데이터, 일반적으로 텍스트나 이미지 형태

=> 비정형 데이터를 정형화해서 정형데이터로

빅데이터의 특징 - Velocity

빅데이터 시대에 데이터는 실시간으로 생성되고 저장됨

빅데이터 기술은 대용량 데이터의 빠른 처리 - 분석이 가능해야 함

빅데이터의 특징 - Veracity (금융쪽에서 중요)

앞의 3V에 이어 정확성이 새로운 빅데이터의 특징으로 소개됨

데이터의 성질에 따라서 부정확한 데이터가 DB에 구축될 수 있으므로 최대한 오류를 줄여야 함.

빅데이터의 특징 - Value

기업에서의 빅데이터는 비즈니스적으로 융용하게 활용되어야 의미가 있음

가치 설계가 제대로 이루어지지 않으면 빅데이터의 유용성이 낮아짐

데이터의 정의, 데이터와 정보의 차이, 빅데이터의 일반적인 특징

데이터와 정보

데이터(정형 데이터(테이블 형태) : 엑셀, 비정형 데이터)

• 문자, 숫자, 사진, 영상, 음성 등의 형태로 된 의미 단위
• 보통 연구나 조사 등의 바탕이 되는 재료를 말하며, 자료를 의미 있게 정리하면 정보

데이터의 어원

• 라틴어의 단어 Datum의 복수형인 Data에서 유래
• Data의 본래 뜻은 '주어진 것', 원천 데이터(로우 데이터,raw data)
• '자료'라고 불림

질적 데이터

Qualitative Data, 수치로 측정이 불가능한 데이터    ex) 설문지에 대한 대답, 인터뷰, 성별, 종교, 직업 등

=> 데이터를 시각화하거나 수치화하는 과정에서 양적 데이터가 되기도함.

수치 관계가 없다.

양적 데이터 (인공지능이나 빅데이터에서 많이 사용)

Quantitative Data, 수치로 측정이 가능한 데이터    ex) 온도, IQ, 혈압, 맥박, 물건의 가격, 사물의 길이, 재무비율 등

정보

• 의사 결정을 지원하는 모든 종류의 가공된 자료 혹은 지식
• 데이터와 정보는 서로 교환되어 사용하는 경우가 많음
• 데이터와 정보의 차이점을 알아두는 것이 좋음

유용한 데이터들을 이용해서 정보를 만듦

데이터 수집: 케글, 공공데이터 포털 등 출처들을 많이 알고 있는 것이 중요

데이터

70, 76, 95, 45, 92, 84,...

정보

A 고등학교 학생들의 수학 점수가 70, 76, 95, 45, 92, 84,...

->A 고등학교 학생들의 수학 시험 평균 점수는 82점

->A 고등학교는 다른 고등학교에  비해 성적이 우수

이미지+ 텍스트+ 수치(양적 데이터) =(처리, 가공)=> 정보   //파이프라인 구축

빅데이터: 기존의 관리 및 분석체계로는 감당할 수 없을 정도로 거대한 데이터의 집합(1테라 바이트 이상) (2012년 세계 10대 기술 선정), 데이터 안에 빅데이터 존재

빅데이터의 어원

1990년대부터 사용되어 왔으며, 존 메쉬가 처음 사용한 용어

메쉬가 수많은 소규모 모임에서 빅데이터의 개념을 설명하고 회사의 투자 설명에서도 활용한 기록이 남아 있음

빅데이터의 특징 - 3V

• 용량(Volume): 일반적으로 1TB(TeraByte)에서 1PT(PetaByte)로 정의
• 다양성(Variety): 정형 데이터뿐만 아니라, 비정형 데이터와 같은 다양한 형태의 데이터도 같이 포함
• 속도(Velocity): 데이터의 생산, 처리, 분석되는 속도가 보장됨

빅데이터 분석 기술

수집된 빅데이터에서 유용한 정보를 얻기 위해 분석하는 기술

텍스트마이닝(텍스트 분석 분야, 분류, 생성(챗봇), 변환), 머신러닝(ML, 머신러닝 안에 딥러닝), 딥러닝(DL), 자연어 처리, 비전 러닝(이미지 데이터 분석, 영상분석) 등

빅데이터 표현 기술

• 수집된 빅데이터의 특성을 파악하기 위해 시각화(그래프)하는 기술
• 디자인적 요소를 결합하여 인포그래픽, 인터렉티브, 대쉬보드 등 수많은 방법들로 표현