[Data Science / Articles] 공공 빅 데이터 프로젝트 도입을 위한 17단계

원문 : http://www.ciokorea.com/slideshow/20351

아마존이나 페이스북처럼 엄청난 규모의 데이터를 마음대로 이용할 수 있는 민간 기업들은 이 데이터 분석으로 수백 만 달러를 벌어 들인다. 공공부문 기관들 역시 상당한 양의 데이터를 가지고 있으며 점점 더 정부 각처에서 데이터를 활용한 국민의 편의 증진에 힘쓰고 있다.

IBM 정부 비즈니스 센터(IBM Center for The Business of Government)의 최근 보고서에서, 애리조나 주립대의 케빈 C. 드수자는 정부 각처의 CIO들과 한 인터뷰를 바탕으로 공공부문의 빅 데이터 도입 계획에 대해 다음과 같은 청사진을 내놓았다.

---

1막: 빅 데이터 프로젝트 계획하기

빅 데이터 프로젝트는 기본적으로 아주 복잡한 일이다. 특히 프로젝트를 진행하기 전 대규모 인프라 변화, 프로그램 계획 및 각 부처, 부서 간 합의가 필요한 공공부문에서는 더욱 그러하다. 어떤 빅 데이터 프로젝트든, 가장 중요한 단계는 계획 단계라 할 수 있다. 사소한 디테일까지 얼마나 신경 쓰냐에 따라 시작단계에서 프로젝트의 성패가 결정 난다.

드수자는 “계획 단계에서는 프로젝트의 개념을 잡아야 한다. 이는 성공적인 플랫폼 구축에 아주 중요할 뿐 아니라 이해 관계자들에게 관련 정보를 적절히 알리는데도 중요하다. 계획 단계는 양질의 프로젝트를 위한 기반을 닦는 단계다”라고 설명했다.

1장: 빅 데이터 프로젝트에 착수하기 전, ‘사전조사’부터 하자

우선, 빅 데이터가 기관에 어떤 기여를 할 수 있는지부터 분명히 해야 한다. 빅 데이터가 해당 기관에 줄 이점은 무엇이고, 어떤 리스크나 문제점을 가져올 것인지도 알아야 한다. 데이터, 프로세스, 시스템을 둘러싼 복잡한 관리 절차나 정책을 전부 고려해야 한다. 특히, 기관의 정책이 최신 기술에 적합하지 않은 뒤쳐진 정책이라면 더욱 그렇다. 다른 기관들의 정책을 살펴보고 비슷한 부분을 찾아 쓸데없이 같은 일을 두 번 하는 일이 없도록 하기만 해도 많은 예산이 절약된다.

드수자는 “프로젝트 예시들을 꼼꼼히 살펴보고 어떤 프로젝트가 성공하고 실패하는지 생각해봐야 한다. 필요하다면 언론에 소개된 관련 전문가들에게 연락을 해봐도 좋다. CIO가 너무 바빠 빅 데이터와 관련해 사전 조사를 할 수 없다면, 아예 프로젝트를 시작하지 않는 것이 나을지도 모른다”라고 말했다. 

2장: 빅 데이터 프로젝트를 위한 협력

신문 기사나 백서에서는 빅 데이터 프로젝트의 실패 사례에 대해선 거의 얘기하지 않는다. 실패 사례의 정보를 얻기 위해서는 전문가 집단의 네트워크가 아주 중요하다. 다른 기관에서 근무하는 동료들이나 교육기관에서 일하는 사람들, 씽크탱크(Think tank)의 일원이나 민간부문 관계자와 이야기를 나눠보면 좋다.

또 기관 내에서도 자문 그룹을 구성해 프로젝트 영향력을 넓히는 것은 물론 근무 환경의 자연스런 맥락 속에 빅 데이터를 위치하게 해야 한다.

드수자는 “협력을 통해 의제를 넓힐 수 있고 새로운 파트너십이나 정보를 얻을 수도 있다. CIO들도 소위 말하는 ‘엘리베이터 피치(elevator pitch, 짧은 시간에 투자자를 설득할 수 있는 연설-역주)’를 준비해 프로젝트에 사람들을 참여 시켜야 한다. 데이터 매니지먼트에 투자함으로써 어떻게 기존의 문제점들을 더 효과적으로 해결할 수 있으며 새로운 기회를 이용할 수 있게 될 것인지에 대해 자세히 설명하는 것이 좋다”라고 말했다.

3장: 빅 데이터 프로젝트가 어떻게 기회의 폭을 넓힐 수 있을 것인지 구체적으로 제시하라

첫 번째 빅 데이터 프로젝트일 경우, 시민들과 이해 관계자들에게 직접적으로 이득이 가는 것에 집중해야 한다. 이렇게 하면 사람들의 관심과 함께 비평적인 시각도 모을 수 있다. 구체적인 사항은 나중에 생각하고, 첫 단계에서는 우선 최대한 넓은 기회를 확보해야 한다.

드수자는 “프로젝트 시작 단계에서 넓은 기회를 마련할 수 있다면 다른 이해 관계자들을 참여 시킬 수 있는 유연성을 얻게 되고 이들에게 프로그램을 구성할 기회를 줄 수도 있다. CIO들이 주로 사용하는 전략은 조사 보고서나 성명서의 형식으로 기회의 폭을 넓힐 계획을 세우는 것이다. 이를 통해 기관 내에 더 나은 데이터 관리를 가능케 할 수 있는 기회가 있다면 검토한다. 이렇게 작성된 조사 보고서는 전략적 논의나 토론에 있어 플랫폼과 같은 역할을 할 수 있다”라고 설명했다.

4장: 가장 쉬운 것부터 시작하라

무슨 일이든 시작은 가장 쉬운 것부터 하는 것이 좋다. 민간 데이터보다는 공공 데이터를 활용하면서 프로젝트를 시작해라. 새로운 프로세스를 만들기 전, 기존 기술과 프로세스를 현대화 하여 효율성을 높여야 한다.

드수자는 “성공적으로 빅 데이터 프로젝트를 해낸 CIO들은 하나같이 간단하면서도 기관에 상당한 곤란을 안겨주던 문제들부터 해결했다고 한다. 누구나 느낄 수 있는 문제점들을 선택해 데이터 주도형 솔루션을 만듦으로써 전반적인 프로그램에 대한 지지를 이끌어 낼 수 있다”라고 설명했다.

데이터 요소들과 각 요소들 간의 상관 관계 지도를 그려보는 것도 오늘날 유용한 접근법 중 하나다. 그렇게 하면 데이터 의존 정도가 어느 정도인지를 알 수 있고 데이터 요소들 간의 상호 작용이나 기관 차원, 혹은 정치적인 요소들은 무엇이 있는지도 명확해진다.

5장: 빅 데이터 프로젝트, 다른 일과도 조화를 이뤄야 한다

빅 데이터 프로젝트와 기관의 다른 프로젝트들 간에 균형과 조화를 찾아야 한다. 그렇지 않으면 빅 데이터가 귀중한 자원만 잡아먹으며 다른 프로젝트들을 방해하는 걸림돌처럼 보일 수 있다. 한 가지 방법은 기존 IT 프로젝트에 빅 데이터 프로젝트의 일정 단계를 겹치게 하는 것이다. 예를 들어, 모든 IT 프로젝트에 데이터 통제 문제를 접목 시킬 수 있다. 

또한 고위 관리직에서 프로젝트를 도와 줄 스폰서를 구하는 것도 중요하다.

드수자는 “이런 프로젝트에는 지원이 필요하다. 이견이나 불화가 있을 때 프로젝트를 이끌어나갈 사람이 필요하다는 것이다. 빅 데이터 프로젝트의 시작 단계에 주로 수반될 수 있는 이런 의견 차이를 조정해 줄 높은 권한을 가진 사람이 있다는 것은 매우 중요하다”라고 지적했다.

6장: 사생활 보호 및 보안의 열렬한 옹호자가 돼라

빅 데이터 프로젝트를 진행하다 보면 사생활 문제를 간과하거나 심지어 침해할 수도 있다. 빅 데이터 프로젝트를 진행 할 때 CIO들은 사생활 보호의 변호자가 되어야 한다. 특히 새로운 기술의 등장으로 인해 기존의 사생활 보호법에 업데이트가 필요할 수도 있기 때문에 더욱 그렇다.

드수자는 “데이터에 대한 논의가 진행되는 과정에서 CIO는 사생활 및 보안 문제에 더욱 주의해야 한다. 이는 프로젝트 성공에 아주 중요한 문제다. CIO가 이런 문제들을 인지하고 프로젝트 진행 과정에서 보안 및 사생활 보호에 신경을 쓸 경우, 프로젝트 진행 과정 전체에 이런 노력이 긍정적으로 반영되고 이해관계자들도 이 점을 알아차릴 것이다. 데이터 수집, 통합, 분석 및 보급을 둘러싼 사생활이나 여러 도덕적 문제들을 진지하게, 터놓고 논의할 수 있어야 한다. 관련 법 카운슬러에게도 반드시 이 문제에 대해 상의해야 한다”라고 설명했다. 

7장. 빅 데이터 프로젝트에 태스크포스를 활용해라

기술적인 부분과 관리적인 부분에 있어 모두 전문성을 갖춘 태스크포스를 구성해 프로젝트 전반을 지휘하게 해라. 기술적인 부분을 이해할 수 있는 IT팀 직원과 관리 대상인 데이터 이용이나 생성 관련 업무를 맞게 될 현업부서원, 그리고 법적인 측면이나 문제의 데이터와 관련된 제한들에 대해 잘 알고 있는 직원들이 한 팀으로 구성되는 것이 가장 이상적이다.

드수자는 “이들 모두는 아주 중요한 부분들로써 셋 다 반드시 태스크포스에 포함돼야 한다. 그래야만 빅 데이터 프로젝트가 계획한 대로 진행될 수 있다. 태스크포스의 중요한 역할 중 하나는 대변인으로서의 역할이다. 이상적인 상황에서라면 이해 관계자들에게 주기적으로 진행 상황에 대해 보고하고 고위 관리직들에게도 문제가 생길 경우 이를 알리는 역할을 하는 사람이 있어야 한다”라고 밝혔다.

8장: 어떤 반대가 있을지 예상해보고 이에 대비하라

기관 내에서 프로젝트에 대한 반대 의견이 있을 수도 있다. 이를 극복하는 방법은 어떤 부분에서 반대가 나올 지 예측해 대비하는 것이다.

드수자는 “이번 연구에서 인터뷰한 CIO중 한 명은 자신이 근무하는 시의 오픈 액세스 프로그램(open access program)에 대해 이야기하기도 했다. 이 프로그램은 기관 내에서 분쟁의 씨앗이 됐는데, 시 직원들에게 다른 직원 정보에 대한 접근을 허락해 문제가 되었다는 것이다. 처음으로 공개되는 데이터를 분석하다 보면 반드시 반향도 있기 마련이다. 특히 빅 데이터 프로젝트의 목표가 효율성 증진이라면 더더욱 그렇다. 미래에 발생할 수 있는 다양한 반대 의견이나 그 소스를 미리 생각해보면 각 반대에 어떻게 대응하고 설득할 지에 대해서도 계획할 수 있다”라고 충고했다. 

9장: 빅 데이터 프로젝트를 평가할 KPI를 개발하라

빅 데이터 프로젝트의 프로세스와 결과물을 명확히 측정하기 위해 당신은 적절한 핵심 성과 지표(KPI, Key Performance Indicator)를 개발할 필요가 있다. 프로세스를 명확하게 측정하는 것은 원하는 성과를 보다 신속하고 낮은 비용으로 얻어내는데, 즉 프로젝트의 효율성을 증진 시키는데 도움을 준다. 결과물 측정은 서비스에 대한 고객의 인식과 관련한 요소로, 고객 서비스가 얼마나 증진되었는지, 고객에게 전달되는 가치는 얼마나 향상되었는지 등을 평가하는 과정이다. 

드수자는 “조직 프로세스의 기준 자료(baseline date)는 프로젝트의 시작 전에 포착돼야만 한다. 이 과정이 제대로 이뤄지지 못한다면 프로젝트 개시 전, 후 결과물을 비교하는데 어려움을 겪을 것이다. 성과 지표는 참여하는 현업 부서들이 동의할 수 있는 것이어야 하며, 각 부서가 실제적으로 필요로 하는 정보를 제공해야 한다(비밀스런 측정은 전혀 의미가 없다)”라고 말했다.

10장: 리스크 완화 계획을 설계하라

공공 부문의 데이터베이스는 시민들의 데이터를 포함한다. 공격자들에겐 매우 가치 있는 목표물인 것이다. 때문에 당신에겐 지속적으로 데이터 유출 가능성을 평가하고, 리스크 축소를 위한 과정을 포함하는 리스크 완화 계획을 개발해야 한다는 과제가 주어진다. 

드수자는 “누가 데이터 접근권을 가지고 있는지, 데이터베이스 쿼리가 생성될 때 핵심 정보가 얼마나 회수되는지, 서버룸 주변의 물리적 보안 상황은 어떠한 지 등을 반드시 확인해야 한다”라고 강조했다. 

그는 리스크 완화 계획과 더불어 메시지에 기관 혹은 프로그램이 목표로 하는 바를 명확히 담아내고 그것을 정확히 전달할 수 있도록 담보하는 커뮤니케이션 계획 역시 마련하는 것을 권고했다. 그는 “커뮤니케이션 계획에는 언론이나 학계, 외부 기관들과의 관계에 관한 내용도 포함 되어야 한다”라고 설명했다.

---

2막: 빅 데이터 프로젝트 실행하기

계획 단계들을 거쳤다면, 이제 진짜 바퀴를 굴려볼 때다. 지금까지 당신이 익힌 효율성 증진을 위한 방안들만큼이나, 지금부터 소개될 관리 전략들 역시 프로젝트의 성공에 중요한 역할을 한다. 

드수자는 “빅 데이터 프로젝트가 성공적으로 진행되기 위해서는 자문 그룹 및 관리진의 지속적인 관심이 요구된다. 프로젝트 관리를 위한 베스트 프랙티스를 익히고 수립하라. 아무리 철저히 준비가 이뤄진 프로젝트라도, 능숙하지 못한 조작자의 손에 맡겨진다면 절대 성공하기 어려움을 기억하라”고 조언했다.

11장: 빅 데이터 활동의 맥을 지속적으로 측정하라

CIO는 지속적으로 프로젝트를 모니터링 함으로써 문제를 선행적으로 파악하고 그에 대한 창의적인 해결책을 개발할 수 있어야 한다. 이 과정에 지름길은 없다. 드수자는 많은 CIO들이 계획 단계에서 개발한 KPI를 프로젝트에 활용할 공식적, 비공식적 계기판을 이용하고 있다고 소개했다. 

그는 “많은 CIO들이 프로세스와 결과 양 측면에서 프로그램의 흐름을 정기적으로 확인하는 과정의 중요성을 강조한다. 이와 더불어 환경, 특히 프로젝트와 관련한 다양한 정서에 대한 파악 역시 필요한 작업이다. 적절한 시점에 적절한 방식으로 커뮤니케이션을 진행하고, 필요할 경우 상황을 중재하며 당신은 잠재적 문제를 파악하고 이를 선행적으로 처리할 수 있다”라고 강조했다.

12장: 대화하고, 대화하고, 또 대화하라

커뮤니케이션은 빅 데이터 프로젝트의 모든 단계에서 절대 간과 되어서는 안 될 핵심적인 요소다. 빅 데이터 프로젝트가 성공하기 위해서는 데이터와 정보를 가두는 창고(silo)를 해체하고 당신이 가지고 있는 핵심 정보들을 공유해야 한다. 

드수자는 “주요 단계, 비효율, 성공 및 실패 등과 관련한 커뮤니케이션은 기관과 동료들이 빅 데이터를 보다 잘 이해할 수 있게 해 줄 것이다. 기관들 간의 데이터 공유와 지속적인 협력, 커뮤니케이션, 피드백 구조에 기반하여 이뤄지는 프로젝트는 보다 높은 성공 확률을 보여준다”라고 말했다. 

13장: 빅 데이터 프로젝트의 범위 추가를 관리하라

빅 데이터 프로젝트에 범위 추가(Scope Creep)는 불가피하다. 이해 관계자들은 진행 과정을 지속적으로 관찰하고, 데이터를 활용할 추가적인 방안을 수시로 제안하기 때문이다. 그러나 실제 작업자의 입장에서 프로젝트 계획과 일정을 끊임없이 조정하는 것은 그리 반가운 일이 아닐 것이다. 

드수자는 “범위 추가 문제를 감독하고, 현재 투입할 수 있는 노력과 향후 예정된 개정 및 추가에 관한 기준을 제시하는 것은 CIO의 중요한 역할이다. 이를 위해 유용한 방법론 중 하나로는 구글 등 많은 기업들이 시행하고 있는, 베타 상품 출시가 있다. 이를 통해 당신은 유용한 아이디어를 포착해 향후 배포 혹은 업데이트에 적용할 수 있을 것이다라고 설명했다. 

14장: 기술이 아닌 데이터에 집중하라

빅 데이터 기술은 폭발적인 속도로 진화하고 있다. 그러나 이 모든 새로운 기술을 프로젝트에 이용할 필요는 없다. 기존의 기술 자산을 용도 변경하는 것만으로도 충분한 효과를 얻을 수 있음을 기억하자. 그리고 기술보다는 데이터 관리에 더 집중하자. 조직적, 정책적 시각에 기초한 데이터 관리 문제에 대한 분명한 관점을 갖춘다면, 당신에게 진정으로 필요한 테크놀로지를 선택하는 과정은 보다 수월해질 것이다.

드수자는 “빅 데이터 활동(혹은 여타 대형 데이터 활동)을 발표하면 그 즉시 자신들의 상품과 서비스를 구매하지 않겠냐는 판매 컨설턴트들의 전화 세례가 이어진다고 CIO들은 말한다. 쏟아지는 기술에 휘둘리지 않기 위해 목표한 비즈니스 결과물 달성을 위한 가장 효율적인 데이터 관리 방안을 고민하고, 명확한 프로젝트 목표 설정 노력이 필요하다”라고 말했다. 

15장: 필요할 경우 빅 데이터 프로젝트를 중단할 수 있어야 한다

모든 빅 데이터 프로젝트가 성공으로 이어지는 것은 아니다. 그러나 이런 상황 속에서도 우리는 그 프로젝트에 매달리곤 한다. 매몰 비용 때문이다. 하지만 이런 태도는 상황을 더 악화 시킬 뿐만 아니라, IT부서 전체에 피해를 줄 수도 있음을 기억하자. 

드수자는 “이 문제와 관련해 한 CIO는 프로젝트 개시 전 어떤 상황이라면 프로젝트를 중단해야 지에 관한 명확한 개요를 설정해 두는 접근법을 제안했다. 이러한 선행적 대비는 당신이 프로젝트를 보다 현실적으로 바라보도록 하는데, 그리고 팀원들이 문제 신호를 보다 빠르게 확인하고 그것을 공개적으로 논의할 수 있도록 하는데 도움을 줄 것이다”라고 설명했다. 

---

3막: 빅 데이터 프로젝트 실행 이후

빅 데이터 프로젝트가 제대로 실행됐다고 해서 끝난 것은 아니다. 이젠 기관의 성과를 돌아볼 차례다. 무엇이 잘 됐고, 무엇이 실패했는지, 개선할 점은 무엇인지 등을 생각해보고, 다음 프로젝트를 계획해야 한다.

16장: 빅 데이터 프로젝트 진행 이후의 결과 영향 분석을 시행하라

각 단계에서 얻은 교훈부터 최종적으로 도출한 제도적 지식까지, 프로젝트와 관련한 모든 사항은 문서화하여 보관하는 것이 좋다. 이 정보는 동료들과 공유 됨으로써 더 많은 가치를 창출할 것이다. 

드수자는 “사후 검사 진행 과정에서 기억해야 할 점은 이것이 개인 혹은 사건의 평가나 지적에 이용 되어서는 안 된다는 것이다. 구성원들이 자신의 실제 경험과 그로부터 얻은 교훈을 공유하지 않는다면, 사후 검사는 아무런 가치도 창출해내지 못할 것이다. 프로세스와 조직 가치의 측면에서 개선점을 평가하는 역량 분석 역시 프로젝트가 가치를 창출하는데 중요한 과정이다. 또한, 이런 활동들은 진행 이후 꼭 널리 공개돼야 함을 기억하자”라고 말했다. 

17장: 다음의 빅 데이터 프로젝트를 발견하라

빅 데이터 프로젝트의 결과물과 당신이 이것으로부터 배운 교훈은 당신에게 새로운 프로젝트에 대한 시각을 제공하는 역할을 한다. 새로운 프로젝트를 진행할 때에는 이전 프로젝트에서 이미 필요한 활동과 절차가 확립되어 있다는 장점 역시 누릴 수 있다. 즉, 팀원들이 프로젝트에 뛰어들기 전까지의 준비 시간이 단축되는 것이다. 

드수자는 “새로운 프로젝트를 진행하며 CIO들은 이전의 경험 덕분에 성과 및 효익 근거 수집이 보다 용이해지는 것을 확인할 수 있을 것이다. 이 정보들을 바탕으로 당신은 더 탄탄하게 다음 프로젝트를 이끌어나갈 수 있다”라고 말했다.