[Data Science / Articles] “빅 데이터 대응, 하둡만으론 부족하다”

원문: http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=105&oid=138&aid=0001990457

[디지털데일리 심재석기자] 스트븐 브롭스트 테라데이타 최고기술책임자(CTO)는 13일 서울 삼성동 코엑스인터콘티넨탈 호텔에서 열린 ‘테라데이타 유니버스 서울 2012’ 행사에서 두 차례에 걸쳐 열정적으로 기조연설을 했다. 

때로는 맨말로 무대에 오르기도 한다는 그는 테라데이터에 대한 자부심이 넘쳐 보였다. 그는 테라데이타 CTO이자, 데이터 웨어하우징 분야의 세계적인 권위자로 평가받는 인물이다.

첫 연설에서 그는 ‘비즈니스 인텔리전스에서 절대 간과할 수 없는 네 가지 트렌드’라는 주제로 ▲센서기술 ▲비즈니스 인텔리전스의 일상화(pervasive BI) ▲데이터베이스 내장 프로세싱(In-DB Processing) ▲비전통적 데이터 타입이라는 새로운 트렌드를 받아들여야 한다고 강변했다. 두 번째 연설에서는 빅 데이터를 활용한 심층 분석 사례와 기술을 자세히 소개했다.

두 차례의 격정적인 연설 이후에도 인터뷰 룸에 들어선 그는 전혀 지치지 않은 모습이었다.  조용히 인터뷰를 시작했으나 목소리 톤은 이내 올라갔다. 

- 비즈니스 인텔리전스 분야에 변화를 가져올 4가지 트렌드에 대한 기조연설 잘 들었다. 이런 변화 속에서 기업들은 어떤 준비를 해야 할까?

“기업들은 새로운 형태의 데이터를 활용해서 비즈니스를 향상시킬 수 있는 기회를 찾아내야 한다. IT부서만이 아니라 마케팅이나 운영팀 등 다른 부서와 협력해서 새로운 비즈니스를 창출하는 것이 중요하다. 

예를 들어 인-데이터베이스(In-DB) 프로세싱를 통해 데이터 마트에 대한 불필요한 중복투자를 줄여서 비용을 절감할 수 있다.”

- 오늘 링크드인의 발표도 인상적이었다. 그런데 현재 빅데이터 화두를 이끌고 있는 것은 대부분 링크드인과 같은 인터넷 기반의 기업들이다. 금융, 유통, 통신 등 전통적인 기업들은 빅 데이터에 대한 활용법이 별로 없는 것 같다.

“인터넷 기업들이 대부분 소프트웨어나 엔지니어링에 기반한 회사들이기 때문에 빅 데이터에 쉽게 접근한 것은 맞다. 하지만 전통기업도 빅데이터를 잘 활용해야 경쟁에서 우위에 설 수 있다.

예를 들어 최근 미국의 한 은행은 빅 데이터 분석을 하고, 그 결과를 기반으로 ATM의 수수료를 책정했다. 소셜미디어 상에서 고객의 목소리를 듣고 판단을 내린 것이다. 지역 등 여러 세그먼트를 나눠서 고객의 목소리들을 분석했다. 이를 가지고 수수료 체계를 재정립하자 수수료에 대한 불만이 줄어들었다.

또 고객의 이탈을 막는데도 빅 데이터가 활용될 수 있다. 고객은 이탈 전에 기업에 신호를 보낸다. 콜센터에 항의를 하기도 하고, 웹 페이지에 방문해 게시판에 글을 쓰기도 한다. 이런 여러 신호를 보고 이탈 가능성이 높은 고객군의 유형을 찾을 수 있다. 이걸 찾는다면 이탈 가능성이 점쳐지는 고객에게 맞는 마케팅 활동을 벌일 수 있다.

다만 인터넷 기업에 비해 소프트웨어 기술이나 엔지니어링에 대한 전문성이 상대적으로 부족한 전통적 기업들은 오픈소스를 활용한 최신 빅데이터 기술에 적응하기 어려울 수 있다. 이런 문제는 테라데이타 기술을 통해 극복할 수 있다. 테라데이타는 애스터데이터를 통해 전통적 기업이 쉽게 빅 데이터에 접근할 수 있도록 지원한다.”

- 애스터데이터의 강점은 무엇인가?

애스터데이터의 강점은 두 가지다. 첫 번째는 폴리몰픽 시스템을 가지고 있다는 점이다. 이는 데이터의 모양이 변화하면 파일도 같이 변하는 시스템이다. 관계형 데이터든, 텍스트든, 그래프든, 데이터 형식에 맞게 형태를 바꿀 수 있다는 장점이 있다.

두 번째 강점은 패턴을 추출할 수 있는 기술을 갖고 있다는 점이다. 애스터데이터는 SQL-맵리듀스라는 것을 갖고 있다. 이는 SQL 이상의 선진 분석을 가능케 한다. 패턴 경로분석, 시계열 분석, 그래프 분석을 하나의 플랫폼으로 가능하다. 또 하둡-맵리듀스보다 훨씬 친숙하다.

- 그래도 상용 소프트웨어라는 점에서는 하둡에 비해 비용적인 한계가 있을 듯 하다.

“어떻게 바라보느냐에 따라 다르다. 하둡-맵리듀스가 저렴한 것은 일정 규모 이하의 모델에서만 가능하다. 프로세싱 모델 측면으로는 애스터데이터가 훨씬 효율적이다. 하둡은 데이터를 세 번 써야 해서 저장장치 등에 대한 비용이 늘어난다. 애스터데이터는 이런 비용도 줄일 수 있다. TCO 관점에서 보면 오히려 애스터데이터가 저렴할 수도 있다. 간단한 업무는 오픈소스 하둡-맵리듀스가 당연히 저렴하겠지만, 엔터프라이즈급으로는 오히려 하둡-맵리듀스가 더 비쌀 수도 있다. 

중요한 것은 각 기업마다 적절한 툴을 사용하는 것이다. 간단한 작업은 하둡으로도 무방하지만, 자체적으로 활동이 반복적으로 일어나고 인터랙티브 액세스 필요한 것은 애스터데이터가 더 적합하다.”

- 테라데이타는 애스터데이터를 인수하기 이전까지 테라데이터 DW와 하둡의 연결성을 높이는 전략을 취했었다. 이 전략은 여전히 유효한 것인가?

“그렇다. 기존의 테라데이터 EDW, 애스터데이터, 하둡과 EDW 연계 등의 방법을 고객 기업의 상황에 맞춰 활용하는 것이 우리의 전략이다. 이를 위해 최근 야후에서 독립한 기업 홀톤웍스(hortonworks)와 파트너십을 맺었다. 하둡과의 연계성은 지속된다.”

- DW 시장의 경쟁구도가 심해지고 있다. 특히 오라클이 강력하게 시장에서 도전하고 있고, 전통의 IBM도 있다. 이들에 비해 테라데이타의 강점은 무엇인가?

“오라클은 기술보다는 마케팅 측면이 강하다. 오라클은 디스크 공유 아키텍처를 가지고 있는데, 이는 하나의 대형 병렬 구조를 만들기 힘들다. IBM은 가용성에 문제가 있다. 트랜잭션 데이터 처리하고 MPP가 나중에 가동한다. 비효율적이다. 

IBM이 인수한 네티자는 필터링이나 압축에 강점이 있었다. 하지만 네티자는 디스크 기반에서 강점을 가진 솔루션이다. 현재 DW 시장의 트렌드가 메모리로 옮겨오고 있다. 분석 성능을 높이기 위해 데이터의 상당부분을 메모리 상에 두는 것이다. 네티자는 디스크 기반이어서 이 같은 트렌드에서는 앞으로 어려움을 겪을 것으로 생각한다.”

- 100% 메모리 기반을 표방하는 SAP HAHA는 어떤가?

“SAP HANA의 경우 중소기업에서는 강점이 될 수도 있다. 중소기업은 가지고 있는 데이터 규모가 작으니까 메모리에 다 넣을 수 있다. 큰 규모의 데이터를 보유한 기업이 모든 데이터를 메모리에 넣기에는 비용 측면에서 불가능하다. SAP는 원래 중소기업 애플리케이션 시장에서도 강점 많이 있기 가능성이 있다고 본다. 테라데이타는 포춘 5000대 기업을 대상으로 하고 있기 때문에 경쟁에 있지 않다고 본다.”

- 지난 해 마케팅 솔루션 업체 아프리모도 인수했다.

“테라데이타는 원래 캠페인 관리 부문의 1위 업체다. 아프리모는 통합 마케팅 관리 분야의 1위 업체였다. 테라데이타는 이를 인수해 두 분야의 시너지를 낼 수 있다고 생각한다.”

- 최근 IBM도 유니카를 인수하고 기대를 걸고 있다.

“유니카는 이 분야의 중요한 경쟁상대다. 유니카는 데이터마트를 활용하는 기업이다. 저희는 EDW를 추구한다.”

- 빅 데이터의 등장으로 BI 시장이 다시 활기를 띄고 있다. 빅 데이터 이후에 새롭게 나타날 BI 분야의 트렌드를 예측한다면?

“내가 생각하는 새로운 트렌드는 컨수머 인텔리전스다. 밸류체인에 있는 모든 당사자들에게 비즈니스 인텔리전스를 제공하는 퍼베이시브 인텔리전스가 다음 트렌드라고 본다”