[Data Science / Articles] IT부서에 데이터 과학자가 필요한 이유

원문 : http://www.ciokorea.com/news/9250

지금까지 기업들이 BI나 데이터 웨어하우스(DW)에 IT예산을 쏟아부었지만, 원하는 분석 결과를 얻지 못했다. 분석툴에 문제가 있는 게 아니라, 좀더 근원적인 문제는 데이터 분석 결과를 읽고 이를 해석할 수 있는 능력을 지닌 '데이터 과학자(Data Scientist)'가 없다는 데서 출발한다. 

데이터 과학자들은 똑똑하고 분석적이며 통계 모델을 사용해 거대한 정보로부터 쓸만한 결론을 이끌어 내는 것을 업으로 삼는 사람들이다. 데이터 과학자들에 대한 수요가 소프트웨어 엔지니어들만큼 많지는 않다. 그러나 데이터 마이닝과 데이터 과학 분야의 전문가들은 이러한 추세가 곧 변할 것이라고 예측하고 있다.

포레스터 리서치의 수석 애널리스트 브라이언 홉킨스는 새롭게 급부상하는 정보 관리 기술에 초점을 맞춘 전사 아키텍처(EA)를 전문으로 하고 있다. 그는 기업들이 점차 방대한 양의 정보를 잘 사용하기 위해서는 기존의 데이터 마이닝이나 BI만으로는 부족하다는 점을 깨달을 것이며, 이에 따라 데이터 과학자들에 대한 수요가 늘어날 것이라고 예측했다.

“기업들은 항상 경쟁업체들보다 더 많은 정보를 얻고자 한다. 개중에는 예측 기능이 있는 분석 도구를 사용하면 데이터에 대한 이해가 저절로 따라올 것이라고 생각하는 사람도 있는데, 이는 잘못된 생각이다. 데이터 과학자들이 있어야 ‘통계’ 모델을 만들고 사용할 수 있으며 그 결과를 사람들에게 이해시킬 수도 있다”라고 홉킨스는 말했다.

기존 BI 소프트웨어의 한계와 병렬 컴퓨팅의 발달, 그리고 정교한 데이터 모델링 도구가 합쳐져 데이터 과학자가 등장할 수 있었다고 EMC의 분석 담당 부사장인 스티브 힐리온은 주장했다. 홉킨슨과 마찬가지로, 힐리온 역시 기업들이 방대한 양의 데이터를 처리하기 위해서는 소프트웨어만으로는 부족하다는 점에 동의했다.

결국 고도의 기술 인력과 그에 맞는 기술 모두가 필요하다는 것이다. 데이터 과학자들이 분석에 사용하는 하드웨어와 소프트웨어는 매우 튼튼하고 측정 가능하며 가격도 저렴해 분야를 막론하고 다양한 기업에서 사용할 수 있다고 힐리온은 전했다. 그는 CIO.com에서 데이터 과학자의 역할과 그들에 대한 수요가 가장 큰 산업 분야, 데이터 과학자가 갖춰야 할 기술, 그들의 위치, 그리고 그들의 역할이 BI 소프트웨어에 의미하는 바는 무엇인지에 대해 이야기를 나눴다.

CIO : 정확히, 데이터 과학자란 무엇인가?
스티브 힐리온(EMC 부사장) : 컴퓨터 분석 기술과 모델링 기술을 사용해 방대한 양의 정보부터 통찰력 있는 결론을 얻어내는 사람들이다. 데이터 마이닝과 통계, 그리고 모델링 기술을 많은 양의 데이터에 적용해, 기업에 도움이 될 만한 결론을 이끌어 내거나 최근의 트렌드나 패턴을 연구한다.

CIO : 어떤 종류의 기업들에서 데이터 과학자들을 필요로 할 것 같은가?
힐리온 : 주로 거대한 양의 소비자 정보를 관리하는 대기업에서 그 수요가 클 것이다. 웹 기업이나 광고 업체, 핸드폰 업체, 또는 영업이나 마케팅 데이터를 추적하는 소기업들도 될 수 있다.

CIO : 이 직업이 새로운 직종이라 할 수 있는가? 원래 기업들에는 데이터를 분석하는 사람들이 있었다.
힐리온 : 코카콜라나 프록터&갬블(P&G)과 같은 소비재 기업들을 보라. 그들은 예전부터 리서치 전문가나 통계 전문가를 두고 (예를 들면) 계량경제학적 기술을 적용해 고객들의 데이터를 분석하려고 했다.

그러나 인터넷이 생기고 나서부터 달라졌다. 더 많은 데이터가 생겨나고 있으며 분석 기술들도 더 다양해지고 있다. 예전에는 데이터와 관련된 산업에서만 필요로 하던 이 기술들을, 이제는 더 다양한 기업들에서 사용하려 한다. “단순히 지난 4분기나 월이나 년 단위의 실적을 알고 싶은 것이 아니라, 전체적인 소비 패턴을 알고 왜, 어떻게 그런 패턴들이 생겨났는지를 알고 싶다”라고 그들은 말한다.

CIO : 데이터 과학자들에 대한 수요 증가가 BI와 데이터 웨어하우스(DW) 툴의 실패를 의미한다고 보는가? 당신이 언급한 것들은 BI나 DW가 해결해야 할 일들이 아닌지?
힐리온 : 실패라기보다는 BI에 한계가 있다는 정도로 말해두고 싶다. 일반적으로, BI는 과거 데이터의 총체적인 합산을 통해 과거의 특정 지역에서, 특정 기간 동안, 특정 그룹의 소비자들에게 어떤 일이 있었는지를 결정한다. 이것들은 기업을 운영하는데 매우 중요한 정보들이다.

트렌드를 이해하고, 고객들이 원하는 것이 무엇인지 알아야만 한다. BI는 사람들이 더 많은 정보를 원하도록 만들었다는 점에서는 성공작이다. 사업이 어떻게 돼 가는지를 알게 될수록, 어떻게 하면 ‘더 잘 되게’ 할 수 있는지를 궁금해 하게 마련이다.

DW 역시 나름의 한계점이 있다. 규제가 너무 심하고 느리다는 것이다. DW는 너무 크고 다루기가 힘들다. DW는 주로 숫자가 딱딱 들어맞아야 하는 컴플라이언스 리포팅이나 연말 리포팅에 사용된다. 그 경우에는 엄격하게 규제해야 하기 때문이다. 그러나 DW는 데이터 과학자들이 자유롭게 데이터를 탐색하기에는 적합하지 않다. 만약 예측성 질문을 하려 한다면 좀 더 융통성 있는 데이터 소스가 필요하다.

CIO : 데이터 과학자의 급부상이 경제 상황과도 관련이 있다고 보는가? 예를 들어, 기업들이 성장에 초점을 맞추고 거기에 필요한 정보를 얻고자 하기 때문에 필요해진 직업이 아닌지….
힐리온 : 지난 2 년간, 기업들은 최적화를 매우 신중히 고려해 왔다. 직원 수나 예산이 적고 경쟁이 심할 때는 어떻게 성장할 것인가 뿐 아니라 가지고 있는 자원을 어떻게 최적화 할 것인지도 고민해야 하는데, 그것이 매우 복잡하고 어렵다. 기업들은 스스로를 간소화 시키는 데 있어 매우 현명해져야 했고 그러기 위해서는 비즈니스 프로세스에 대한 깊은 이해가 필요했다. 그러한 자질들이야 말로 데이터 분석에 꼭 필요한 것들이다.

데이터 과학자의 등장은 현재의 기술이 데이터 과학자의 필요로 하는 시점에 다다랐다는 것을 증명해 준다. 10여 년 전만 해도, 매우 기본적인 도구를 사용해 데이터를 분석했다. 엑셀을 사용할 때도 있었고 기술적 측면에서야 훌륭했지만 확장이 불가능했던 통계 도구들도 사용됐다.

지금은 확장 가능한 훨씬 더 진보된 통계 도구들이 많다. 데이터 과학자가 제대로 일을 할 수 있으려면 병렬 조작이 가능한 컴퓨터와 정교한 모델링 도구, 빠른 데이터 조작 처리 기술이 있어야 한다. 그리고 그러한 조건들이 제대로 갖춰지기 시작한 것은 10년이 채 되지 않았다.

CIO : IT전문가들이 데이터 과학자가 되기 위해서는 어떤 기술을 갖춰야 하는가?
힐리온 : 통계와 모델링, 그리고 수학적인 지식이 있어야 한다. 그게 가장 중요하다. 물리학자들이 데이터 과학자로 두각을 드러내는 경우가 많은데, 그들은 실제 상황에 수학을 적용시켜 모델을 만들어 내는 데 익숙하기 때문이다. 생물정보학을 연구하던 사람들도 데이터 과학자에 적합하다.

또 일하려는 분야나 사업에 대한 깊은 이해도 요구된다. 데이터 과학자들은 가설을 세우는 것으로 일을 시작한다. 그 분야에 대한 충분한 경험 없이는 가설을 세울 수 없다.

다른 사람들 말에 귀 기울이는 것도 중요하다. 소프트웨어 엔지니어들이 고객의 요구를 잘 알고 있어야 하는 것처럼, 데이터 과학자들도 경영진이나 관리직 임원들의 질문을 잘 듣고 답할 수 있어야 하기 때문이다.

좋은 데이터 과학자가 되기 위한 또 다른 요건은 ‘데이터를 얼마나 잘 가시화시켜 설명해내는가’다. 대부분의 기업 경영진들은 데이터 과학자들이 내놓는 정보를 다 이해하기에는 역부족일 것이다. 데이터 과학자들은 사업에 가장 필요할 만한, 가장 큰 영향력을 가질 만한, 그리고 실제로 사업 구상이 가능한 정보를 추려내야 한다. 또 결과를 시각적으로 설득력 있게 표현해 내는 것도 중요하다.

CIO : 데이터 과학자들이 기업의 IT부서나 다른 부서에서 일하는 경우도 있는가?
힐리온 : 두 경우 모두 본 적이 있다. 데이터 과학자가 IT부서의 일원인 경우가 있는데, 그래도 대부분의 경우 마케팅이나 파이낸스 같은 실용적인 부서에 있을 확률이 높다. 가끔은 IT와 비즈니스의 중간점이라고 할 수 있는 연구 부서에 가 있는 경우도 있다. 그런걸 보면 데이터 과학자가 되기 위해서는 사업을 잘 이해해야 한다는 점을 알 수 있다.