[Data Science] 빅데이터 분석, 어떻게 할 것인가

빅데이터가 매우 활용가치가 높은 것은 누구나 알고 있는 사실이지만 분석 방법에 대해 아는 이들은 그리 많지 않다. Amazon과 Google 등은 빅데이터를 분석하는 최고의 역량을 지닌 기업들이다. 또한 이들 기업은 경쟁력 우위를 점하기 위한 지식을 보유하고 있다.

Amazon의 추천 엔진을 생각해 보자. 이 엔진은 꽤 훌륭한 상품 추천을 위해 여러분의 구매 이력과 함께 구매 패턴, 여러분과 유사한 구매자의 구매 패턴까지도 알고 있다. 이것은 마켓팅 머쉰이며 이것의 빅데이터 분석 능력은 Amazon을 성공으로 이끌었다.

빅데이터 분석 능력은 여러분의 조직에도 독특한 기회를 제공한다. 여러분이 할 수 있는 분석 방법을 늘릴 수 있을 것이다. 샘플링 된 큰 데이터 셋에 제한되는 대신, 분석을 위한 보다 자세하고 완전한 데이터를 활용할 수 있다. 그러나, 빅데이터 분석은 매우 도전적이다. 기본적인 데이터 분석 조차도 알고리즘과 기술을 바꾸는 것은 고민해야 할 많은 문제를 안고 있다.

본격적인 빅데이터 분석을 시작하기에 앞서 자문해봐야 할 첫번째 질문은 여러분이 무슨 문제를 풀 것인가에 대한 정의이다. 여러분 스스로도 무엇이 문제인지 확신이 서지 않을 수 있다. 값진 통찰력을 얻을 수 있는 엄청난 양의 데이터를 갖고 있다는 사실을 여러분은 알고 있다. 그리고 분명 원인을 알 수는 없지만 데이터로 인해 일정한 패턴이 만들어 질 수 있다.

이러한 패턴에 대해 곰곰히 생각해 본다면 여러분이 무엇에 관심이 있는지를 분명 발견할 것이다. 예를 들어, 고객 유출 방지를 위해 고객의 행동을 예측하는 것에 관심이 있는가? 보험의 프리미엄 목적을 위해 고객의 운전 패턴을 분석하고자 하는가? 문제 발생의 시점을 예측을 위한 시스템 로그 데이터 분석에 흥미가 있는가? 고수준 문제의 종류는 여러분이 사용하고자 하는 분석 방법에 달려 있다.

여러분이 풀고자 하는 비즈니스 문제에 대한 확신이 없다면 개선이 필요한 비즈니스 영역을 들여다 볼 필요가 있다. 단 하나의 분석방법론에 의한 전략이라 할 지라도 올바른 목표가 설정되어 있다면 빅데이터로 유용한 결과를 끌어낼 수 있다. 분석방법론에 있어 가능한 종류의 범위를 고려할 필요가 있는데, 이는 다음 표에 정리하였다.

분석 유형	설명
통찰을 위한 기본 분석법	데이터 분할, 리포팅, 단순 가시화, 기본 모니터링
통찰을 위한 고수준 분석법	예측 모델 및 기타 패턴 매칭 기술 등과 같은 보다 복잡한 해석
운용 측면의 분석법	분석법이 비즈니스 프로세스의 일부가 됨
수익성 측면의 분석법	분석법이 수익을 발생시키는 직접적인 원동력이 됨