2.빅데이터 분석 기획

1. 데이터 분석 기획

데이터 분석 기획의 특징

• 분석 기획이란 실제 분석을 수행하기에 앞서 분석을 수행할 과제의 정의 및 의도했던 결과를 도출 할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업

• 분석 과제 및 프로젝트를 직접 수행하는 것은 아니지만 어떠한 목표(what)를 달성하기 위하여 어떤 데이터를 가지고 어떤 방식(how)을 수행할지에 대한 일련의 계획을 수립하는 작업이기 때문에 성공적인 분석 결과를 도출하기 위한 중요한 사전 작업

• 성공적인 데이터 분석 기획을 위해서는 다양한 영역에 대한 고른 역량과 시각이 필요

데이터 사이언스 역량

• 3가지 영역에 대한 “균형” 잡힌 시각을 가지고 방향성과 계획 수립 필요

분석 주제 유형

1. 분석의 대상(What)

2. \ 1.	Known	Un-Known
Known	최적화(Opitmization)	통찰(Insight)
Un-Known	솔루션(Solution)	발견(Discovery)

1. 분석의 방법(How)

목표 시점별 기획 방향

목표 시점별 분석 기획 방안

당면한 분석 주제의 해결(과제단위)		지속적 분석 문화 내재화(마스터플랜 단위)
Speed & Test	< 1차 목표 >	Accuracy & Deploy
Quick-Win	< 과제의 유형 >	Long Term View
Problem Solving	< 접근방식 >	Problem Definition

분석기획 시 고려사항

• ① 가용한 데이터(Available Data): 분석을 위한 데이터의 확보가 필수적임. 데이터 유형에 따라서 적용 가능한 솔루션 및 분석 방법이 다르기 때문에 유형에 대한 분석이 선행적으로 이루어져야 함.

• ② 적절한 유스케이스(Proper Use-Case) 탐색: 유사 분석 시나리오 및 솔루션이 있다면 이를 최대한 활용하는 것이 중요함.

• ③ 장애 요소들에 대한 사전 계획 수립이 필요(Low Barrier of Execution): 정확도를 올리기 위해서는 기간과 투입 리소스가 늘어나게 되는데 이것은 비용 상승으로 이어질 수 있으므로 많은 사전 고려가 필요함.

2. 분석 문제 정의

분석 과제 도출의 유형

• 분석 과제는 풀어야 할 다양한 문제를 데이터 분석 문제로 변환한 후 이해관계자들이 이해하고 프로젝트로 수행할 수 있는 분석 과제 정의서 형태로 도출되며,

• 분석 과제를 도출하기 위한 방식은 크게 하향식 접근 방법(Top Down Approach)과 상향식 접근 방법(Bottom Up Approach)이 있음.

하향식 접근

>> 문제 탐색(Problem Discovery)
	- 비즈니스 모델 기반 문제 탐색
	- 외부 사례 기반 문제 탐색
-> 문제 정의(Problem Definition)
	- 데이터 분석 문제 변환
-> 해결방안 탐색(Solution Search)
	- 수행 옵션 도출
-> 타당성 검토(Feasibility Study)
	- 타당성 평가
	- 과제 선정

하향식 접근 방법(Top Down Approach)

문제탐색	비즈니스 모델 기반 문제 탐색	비즈니스 모델 캔버스를 활용하여 문제 발굴 5가지 영역 : 업무, 제품, 고객, 규제와 감사, 지원 인프라
문제탐색	분석기회 발굴의 범위 학장	1. 거시적 관점 : STEEP(사회, 기술, 경제, 환경, 경치) 2. 경쟁자 확대 관점 : 대체제, 경쟁자, 신규 진입자 3. 시장의 니즈 탐색 : 고객, 채널, 영향자들 4. 역량의 재해석 관점 : 내부역량, 파트너 네트워크
문제탐색	외부 참조 모델 기반의 문제 탐색	유사 동종 업계 사례 벤치마킹을 통한 분석 기회 발굴
문제탐색	분석 유즈 케이스	풀어야 할 문제에 대한 상세한 설명 및 해당 문제를 효과적으로 명시함으로써, 향후 데이터 분석 문제로의 전환 및 적합성 평가에 활용할 수 있도록 함
문제정의	문제 탐색에 필요한 데이터 및 기법을 정의하기 위하여 데이터 분석 문제로 변환을 수행
해결방안 탐색	어떤 데이터 또는 분석 시스템을 사용할 것인지 검토하는 단계
타당성 검토	경제적 타당성 검토, 데이터 타당성 검토, 기술적 타당성 검토

상향식 접근

업무 프로세스 분석 절차

-- 프로세스 분류
	- 업무 단위 분류
-> 프로세스 Flow 분석
	- 프로시저 분석
-> 분석 요건 식별
	- 분석/개선 요소
-> 분석 요건 정의
	- 핵심요소

2. 상향식 접근 방법(Bottom Up Approach)

• 문제의 정의 자체가 어려운 경우 데이터를 기반으로 사용
• 상향식 접근 방법은 비지도 학습 방법으로 수행
• 디자인 사고(Design Thinking)의 발산 단계에 해당
• 인사이트 도출 후 반복되는 시행착오를 통한 수정 하며 문제를 도출하는 과정 : 프로토타이핑 접근법

3. 데이터 분석 방안

빅데이터 분석방법론의 계층적 프로세스

빅데이터 분석 방법 절차

빅데이터 단계별 프로세스(1/5)

단계 (Phase)	태스크 (Task)	내용
분석기획	비즈니스 이해 범위 및 범위 설정	- 프로젝트에 참여하는 관계자들의 이해를 일치시키기 위하여 구조화된 프로젝트 범위 정의서인 SOW(Statement of Work) 를 작성
분석기획	프로젝트 정의 및 계획 수립	- 프로젝트의 목표 및 KPI(핵심성과지표), 목표 수준 등을 구체화하여 상세 프로젝트 정의서를 작성 - 프로젝트 수행 계획서를 작성하는 단계로서 프로젝트의 목적 및 배경, 기대효과, 수행방법, 일정 및 추진조직, WBS를 작성
분석기획	프로젝트 위험계획 수립	- 데이터 분석 위험 식별, 계획 수립 단계에서 빅데이터 분석 프로젝트를 진행하면서 발생 가능한 모든 위험을 식별 - 예상되는 위험에 대한 대응은 회피, 전이, 완화, 수용으로 구분하여 위험 관리계획서를 작성

빅데이터 단계별 프로세스(2/5)

단계 (Phase)	태스크 (Task)	내용
데이터 준비	필요데이터 준비	- 정형/비정형/반정형 등의 모든 내,외부 데이터를 포함하고 데이터의 속성, 데이터 오너, 데이터 관련 시스템 담당자 등을 포함하는 데이터 정의서를 작성
데이터 준비	데이터 스토어 설계	- 일반적으로 관계형 데이터베이스(RDBMS)를 사용하고 데이터의 효율적인 저장과 활용을 위하여 데이터 스토어의 논리적, 물리적 설계를 구분하여 설계
데이터 준비	데이터 수집 및 정합성 점검	- 크롤링 등의 데이터 수집을 위한 ETL 등의 다양한 도구와 API, 스크립트 프로그램 등을 이용하여 데이터를 수집하고, 수집된 데이터를 설계된 데이터를 스토어에 저장

빅데이터 단계별 프로세스(3/5)

단계 (Phase)	태스크 (Task)	내용
데이터 분석	분석용 데이터 준비	- 분석 계획 단계에서 비즈니스 이해, 도메인 문제점 인식, 프로젝트 정의 등을 이용하여 프로젝트의 목표를 정확하게 인식 - 데이터 스토어로부터 분석에 필요한 정형/비정형데이터를 추출
데이터 분석	텍스트 분석	- 감성분석, 토픽분석, 오피니언 분석, 소셜네트워크 분석 등을 실시하여 텍스트로부터 분석 목적에 맞는 적절한 모델을 구축
데이터 분석	탐색적 분석	- 다양한 관점별로 기초 통계량을 산출하고 데이터의 분포와 변수 간의 관계 등 데이터특성 및 데이터의 통계적 특성을 이해하고 모델링을 위한 기초 자료로 활용

빅데이터 단계별 프로세스(4/5)

단계 (Phase)	태스크 (Task)	내용
데이터 분석	모델링	- 모델링이랑 분석용 데이터를 이용한 가설 설정을 통하여 통계 모델을 만들거나 기계학습을 이용한 데이터의 분류, 예측, 군집 등의 기능을 수행하는 모델을 만드는 과정 - 데이터 분할, 데이터 모델링, 모델 적용 및 운영 방안
데이터 분석	모델평가 및 검증	- 프로젝트 정의서의 모델 평가 기준에 따라 모델을 객관적으로 평가하고 품질관리 차원에서 모델 평가 프로세스를 진행

빅데이터 단계별 프로세스(5/5)

단계 (Phase)	태스크 (Task)	내용
시스템 구현	설계 및 구현	- 모델링 태스크에서 정의된 알고리즘 설명서와 데이터 시각화 보고서를 이용하여 시스템 및 아키텍처 설계, 사용자 인터페이스 설계를 진행 - 설계서를 바탕으로 패키지를 활용하여 프로그램을 구축
시스템 구현	시스템 테스트 및 운영	- 단위 테스트, 통합 테스트, 시스템 테스트 실시
평가 및 전개	모델발전 계획수립	- 개발된 모델의 지속적인 운영과 기능 향상을 위한 발전 계획을 상세하게 수립
평가 및 전개	프로젝트 평가보고	- 프로젝트의 성과를 정량적, 정성적으로 평가하고 프로젝트 진행과정에서 산출된 지식, 프로세스, 출력 자료를 지식 자산화하고 프로젝트 최종보고서를 작성