데이터 분석의 목적 및 프로세스

목차
1. 데이터 분석의 목적
2. 데이터 분석 프로세스
3. 데이터 유형

 

데이터 분석의 목적

위키백과에서는 데이터 분석을 다음과 같이 정의하고 있다. 
 

데이터 분석(Data analysis)은 유용한 정보를 발굴하고 결론 내용을 알려며 의사결정을 지원하는 것을 목표로 데이터를 정리, 변환, 모델링하는 과정이다. 데이터 분석은 여러 면과 접근 방식이 있고, 다양한 이름의 다양한 기술을 아우르며 각기 다른 비즈니스, 과학, 사회과학 분야에 사용된다.  오늘날 비즈니스 부문에서 데이터 분석은 의사 결정을 더 과학적으로 만들어주고 비즈니스를 더 효율적으로 운영할 수 있도록 도와주는 역할을 한다. 

 
이를 세분화하여 나열하면 다음과 같다. 
 

다양한 데이터 -> 분석 기법 활용 -> 문제 발견 -> 원인 파악 -> 해결 방안 모색 -> 인사이트 도출

 
즉, 데이터 분석의 목적의 핵심은 인사이트(=Long-term Lessons) 도출이라는 걸 알 수 있다. insight를 한글로 번역하면 통찰력이다. 다시, 통찰력은 Long-term Lessons(교훈)을 의미한다. 그렇다면, 또 Lodg-tem Lossons을 무엇을 의미하는 걸까? 아래 그림을 살펴보자.
 
 

출처 : 이어드림스쿨 인공지능 이산수학 이동훈 강사님 교육자료

 
1. 원인의 원인이 무엇인지.(과거의 과거)
2. 미래의 미래에 어떻게 변화하고, 어디로 가야하는지. 
즉, 인사이트란 문제의 원인이 발생한 이유를 파악 하고, 문제가 다시 발생하지 않기 위해 어떻게 해결할지에 대한 교훈을 얻는 과정이라고 볼 수 있다. 
 
예를 들어, 비즈니스의 문제가 지속적인 매출 하락이었고, 문제의 원인이 신규고객 1명을 확보하기 위한 마케팅과 영업에 사용된 평균비용(고객획득비용, CAC)이 높은 점이 문제였다고 해보자. 그럼 고객획득비용이 왜 낮을까?를 고민하면, 홈페이지의 가입절차가 까다로울 수도 있고, 마케팅에 문제가 있을 수도 있다. 이러한 문제의 원인(지표)이 발생한 이유를 파악하면, 이후에 어떤 변화를 줘야하는지를 알 수 있는 것이다. 

 

데이터 분석 프로세스

데이터 분석의 프로세스는 다음과 같다.

문제정의 및 분석 목적 설정 -> 데이터 수집 -> 데이터 탐색 -> 데이터 전처리 -> 데이터 분석 -> 검증 및 평가 -> 데이터 시각화

 

• 문제 정의 및 목적 설정: 현재 발생하고 있는 문제에 대한 정의 및 분석 목적 설정 단계. (ex. 원인만 파악할 건지, 해결책까지 제시할건지 등)
• 데이터 수집: 문제 해결에 필요한 관련 내/외부 데이터 수집 단계. 데이터를 깨끗하게 클린데이터로 수집해야한다.
• 데이터 탐색: 수집된 데이터의 특성, 분포 등을 파악하는 단계. (ex. 이상치 탐지, 데이터 특성 파악 등)
• 데이터 전처리(가장 중요): 분석 목적 및 방법에 부합하도록 데이터의 내용, 형태 가공하는 단계. 전체 프로세스에서 사용하는 자원(시간, 돈)을 이 단계에 평균 60~80% 사용한다. 굉장히 철저하게 GIGO(Garbage in, garbage out) 법칙을 따른다. 즉, 쓰레기를 넣으면 쓰레기가 나오는 것. 
• 데이터 분석: 데이터 분석 기법 적용. 결과 도출을 위한 실제적 분석 단계.
• 검증 및 평가: 개선 효과 계산. 과거 데이터와 비교, 다양한 방법 간 비교. (ex. A/B test, 모델링 기법 비교)
• 데이터 시각화: 보고서, 대시보드 등의 회의/보고 자료 작성.