[Data Science / Articles] 다른 기업들은 빅 데이터를 어떻게 이용하고 있을까?

원문: http://www.ciokorea.com/news/19836?page=0,1

빅 데이터를 둘러싼 열기가 쉽사리 사그라지지 않는 양상이다. 관련 지출 또한 계속해서 엄청나게 증가하고 있다.

IDC에서는 빅 데이터 기술 및 서비스 시장이 해마다 꾸준히 27%가량 성장해 2017년에는 시장 규모가 324억 달러에 이를 것이라 전망했다. 이를 쉽게 풀어 얘기해 보자면 빅 데이터 시장이 전체 정보통신 기술 시장을 다 합친 것보다 6배나 빠른 속도로 성장하고 있음을 뜻한다.

이렇게 시장은 성장하는데, 정작 빅 데이터를 도입한 기업들이 초기 단계를 성공적으로 보내고 있는지는 확실하지 않다. 이를 확인하기 위해 연구기관에서는 IT 경영진, 매니저 등을 대상으로 설문조사를 진행해 기업의 빅 데이터 이니셔티브, 투자, 우선순위 등에 대해 물어보았다.

IDG 산하 엔터프라이즈 전문 매체인 CIO, 네트워크 월드, 컴퓨터월드, CSO, 인포월드, IT월드에서 실시한 2014 빅 데이터 여론조사의 주요 결과를 소개한다.

이번 설문 조사는 빅 데이터 도입에 있어 다양한 단계를 거치고 있는 기업들을 대상으로 하였다. 이중에는 이미 빅 데이터 프로젝트를 도입한 기업도 있고(19%), 아직 도입 중인 기업(25%)도 있었다. 향후 12개월 내 빅 데이터를 도입할 계획이 있는 기업과 13~24개월 내에 계획중인 기업도 각각 16%를 차지했다. 나머지 23%는 미래에 빅 데이터 프로젝트를 도입할 가능성은 있으나 현재로서는 적절한 전략이나 솔루션을 찾는데 애를 먹는 기업들이었다.

일단 큰 그림부터 보자면, 확실히 기업의 규모나 종류에 상관 없이 빅 데이터의 중요성이 증가하고 있는 것은 분명했다. 기업에서 빅 데이터 이니셔티브에 어느 정도의 중요성을 두고 있느냐는 질문에 53%가 ‘매우 중요’ 또는 ‘최우선 순위’를 꼽았고 34%는 ‘중간’을, 12%만이 ‘별로 중요하지 않다’를 선택했다.

이 밖에 응답자들은 빅 데이터 도입에 관해 다음과 같은 이야기를 했다.

1. 기업이 원하는 건 더 나은 의사 결정을 더 빨리 내릴 수 있게 되는 것
빅 데이터가 호응을 얻는 이유는 간단하다. 기업의 의사결정 속도와 질을 높이는데 큰 공헌을 하기 때문이다. 기업들이 빅 데이터에 투자하는 가장 큰 이유 두 가지는 첫째가 의사결정의 질을 높이기 위해서였고(응답자의 59%), 의사결정의 속도를 높이기 위해서가 두 번째였다(53%).

이 밖에도 빅 데이터에 투자하는 이유로 기획과 예측 개선(47%), 신제품/서비스 개발과 매출원 개발(47%), 새로운 고객 유치 및 기존 고객 잡아두기(44%), 그리고 새로운 비즈니스 파트너십 맺기(34%) 등이 있었다.

2. 페타바이트 단위의 데이터? 대기업에나 해당되는 이야기일 뿐
기업들이 축적해 놓은 고객이나 경영 관련 정보는 어마어마하다. 설문조사 응답자들의 경우에도 기업에서 관리하고 있는 데이터의 양이 평균 164 테라바이트였다. 앞으로 12~18개월 후에 어느 정도의 데이터를 관리하게 될 것인지에 대한 예측 문항에서는 응답자들이 평균 289 테라바이트 정도라고 답했는데, 이는 현재 데이터에서 76%가 증가한 수치이다.

그러나 오늘날 1 페타바이트 이상의 데이터를 관리하는 기업은 전체 응답자의 6%에 그쳤다. 앞으로 12~18개월 후 이 수는 약 14%로 증가하게 될 것이다. 연 수익 10억 달러 이상의 대기업들 중 31%가 1페타바이트 이상의 데이터를 관리하게 될 것이라 응답했다.

3. 데이터 오버로드가 야기할 수 있는 문제를 인지
대량의 데이터가 밀어닥칠 경우 기업에도 여러 가지 문제가 발생한다. 필요한 정보를 바로 찾을 수 없어 손해를 보는 경우(응답자의 11%가 이 같은 문제를 자주 겪는다 답했고, 31%는 가끔 겪는다 답했다), 중요한 의사결정을 내리는 데 있어 시간이 지연되는 문제(자주 겪는다 14%, 가끔 겪는다 39%)가 있었다.

이 밖에 데이터의 양에 압도 당하는 경우(자주 겪는다 19%, 가끔 겪는다 46%), 그리고 데이터 보안에 허점이 생기는 문제(자주 겪는다 4%, 가끔 겪는다 15%) 등이 여기에 해당됐다.

4. 기업들도 투자할 준비가 되어 있다. 투자 수익률은 문제가 되지 않는다
조사 결과 빅 데이터와 관련해 가장 큰 문제는 제한적인 예산이었다. 빅 데이터에 대한 투자는 응답자들 사이에서도 다양했다. 투자 금액이 적은 편에 속하는 19%의 응답자는 내년 빅 데이터 이니셔티브에 10만 달러 이하를 지출할 계획이라 답했다.

반면 상위 29%는 100만 달러 이상 투자할 것이라 응답했다(이 중에는 1억 달러 이상 지출할 계획이라는 이들도 2% 가량 있었다). 이렇게 투자한 돈은 빅 데이터와 관련한 다양한 곳에 쓰이게 된다.

- 소프트웨어 어플리케이션 개발 및 구매(38%)

- 부가적인 서버 또는 스토리지 하드웨어/소프트웨어에 투자(37%)

- 오픈 소스 소프트웨어 프레임워크 이용(예: 아파치 하둡). (30%)

- 클라우드 기반 스토리지 서비스로 이전 (28%)

- 네트워크 대역폭 증가(27%)

- 클라우드 기반 애널리틱스 서비스로 이전 (26%)

예산 부족이 가장 큰 문제로 지목된 반면 투자 수익률은 그렇게 급한 문제는 아닌 것으로 나타났다. 높은 투자 수익률을 내는 것이 어려운 과제라 대답한 이는 전체 응답자의 26%에 그쳤다.

5. 전문 인력의 부족
기업들이 걱정하는 또 한가지는 과연 빅 데이터 이니셔티브에 알맞은 인력을 쓰고 있는가 하는 것이다. 지식 근로자나 데이터 과학자 등도 그들 중 하나이다. 인사 부분에 있어서는 응답 기업의 34%가 애널리틱스 기술을 가진 직원을 고용하고 있었고 26%는 빅 데이터 외의 전문 인력을 고용하고 있었다.
향후 12~18개월 내로 어떤 기술을 가진 인력을 고용할 예정이냐는 질문에는 데이터 과학자가 27%로 1위를 했고, 데이터 아키텍트(data architect, 24%), 데이터 애널리스트(24%), 데이터 시각화 전문가(23%), 비즈니스 애널리스트(21%), 리서치 애널리스트(21%), 애널리틱스 디렉터 또는 매니저(19%), 그리고 데이터베이스 프로그래머(19%)등이 뒤를 이었다.

6. 데이터 보안, 신경 쓰이긴 하지만 제일 급한 문제는 아니다
이번 연구 결과는 기업들에게 있어 제한적 예산과 부족한 전문 인력이 가장 큰 문제로 다가오고 있음을 보여준다. 응답자들은 또 보안 문제(35%), 개발 시간(35%), 기존 툴의 통합과 같은 레거시 문제(33%), 낮은 데이터 퀄리티(32%), 실시간 데이터 통합 및 분석의 어려움(30%)등도 빅 데이터 이니셔티브에 있어 해결 과제로 꼽았다.

보안이라는 주제에 대해서는 응답자의 절반 가까이가(49%) 현재 사용하고 있는 보안 솔루션 및 제품이 자사의 빅 데이터 프로젝트에 충분하다고 답했다. 29%는 그러나 현재 이용중인 솔루션이 부족하다 답했고, ‘잘 모르겠다’라고 응답한 이도 22%였다.

7. 비즈니스 통합과 기업 문화와의 융합, 뭐가 더 어려울까?
연구팀은 또 설문자들에게 빅 데이터 이니셔티브를 기관의 기준 비즈니스 프로세스와 문화에 통합시키는 것의 어려움에 대해 물었다. 그 결과 기업 문화와의 융합이 ‘매우 어렵다’고 답한 사람은 54%, 비즈니스 프로세스와의 통합에서 ‘매우 어렵다’를 선택한 이는 50%로 전자가 약간 더 높았다.

8. 빅 데이터 계획은 IT가 주도. 그러나 성공 여부는 각 부서간 파트너십
응답자들은 IT가 프로젝트를 주도하는 것을 당연하게 받아들이고 있었다. 46%는 IT 부서의 경영진이나 임원이 빅 데이터 이니셔티브를 주도하고 있다 말했고 44%는 IT 매니지먼트에서 빅 데이터 프로젝트를 운영한다고 답했다.

그렇지만 이들 혼자서 이끌어가는 것은 아니었다. 응답자의 36%는 다른 기업 경영인들도 여기에 참여한다고 답했다. 또 빅 데이터 이니셔티브가 CEO의 지원을 받는다는 대답과(47%), LOB급 책임자의 지원을 받는다는 대답(34%)도 있었다. IT와 경영 책임자들 모두 부처간 협력을 통해 기업의 문제를 해결하려 할 때 빅 데이터 프로젝트가 가장 성공적이라는 점에 동의하고 있었다.

9. 빅 데이터 열풍, 앞으로도 계속 이어질 것이다
미래에 대한 전망을 묻는 질문에서는 절반 가까이(48%)가 3년 이내로 빅 데이터 사용이 더욱 팽배해질 것이라 응답했으며, 26%는 하나 이상의 사업 부문이나 부서에서만 주류 기술로 자리잡을 것이라 예상했다. 빅 데이터가 한 때의 유행일 뿐이며 곧 사그라질 것이라 응답한 사람은 5%에 그쳤고, ‘잘 모르겠다’고 응답한 이도 5%였다. 나머지 16%는 좀 더 두고 봐야 알겠지만 빅 데이터가 주류 기술이 되지는 않을 것이라 응답했다.