[Data Science] 빅데이터를 위한 CEP 사용하기

복잡한 이벤트 처리(Complex Event Processing, 이하 CEP)는 빅데이터에 있어 유용한 것인데 유동 데이터를 관리하기 위한 것이기 때문이다. CEP는 이벤트 발생 시 데이터를 추적하고, 분석하고, 처리하기 위한 기술이다. 이 정보는 비즈니스 규칙과 절차를 기반으로 처리되고 통신된다.

CEP 뒤에 숨은 아이디어는 정보의 스트림 간에 상관관계를 수립할 수 있다는 것과 리스크를 줄이고 기회를 포착하는 등의 정의된 행동의 결과 패턴을 매칭할 수 있다는 것이다. CEP는 행동을 일으킬 수 있는 이벤트와 패턴을 발견하기 위해 다양한 관련 소스로부터 데이터를 수집하고 결합하는 간단한 이벤트 처리를 기반으로 하는 고급 접근방법이다.

다음과 같이 예를 들어보자. 리테일 체인점이 반복적 판매를 늘리기 위해 일련의 고객만족 프로그램을 개발한다 - 특별히 일년에 $1,000 이상을 소비한 고객들을 위해. 이러한 회사는 중요 고객이 지속적으로 재방문하게끔 유지할 수 있는 플랫폼을 개발하는 것이 중요하다. CEP 플랫폼을 사용하여, 높은 가치의 고객이 프로그램에 참여하자마자 시스템은 고객에 추가 할인 혜택을 제공한다.

다른 처리 규칙은 추가 할인 또는 신제품 샘플 등을 통해 고객에게 감동을 선사하는 것이다. 회사는 또한 모바일 어플리케이션에 접속되는 새로운 고객만족 프로그램을 추가한다. 충성도 있는 고객은 상점 주변을 지나갈 때, 할인 가격 정보의 단문 메시지가 제공된다. 만약 그 고객이 소셜 미디어 사이트에 부정적인 내용의 글을 올린다면 고객 관리 부서에 공지되고 사과문을 게시한다.

빈번한 상호작용을 하는 많은 수의 고객들을 접견할 수도 있다. 그러나 단순히 그러한 데이터를 분석하는 것으로는 충분치 않다. 비즈니스 목표를 달성하려면 리테일러는 분석의 결과에 대한 반응을 처리를 실행하는 것이 필요하다.

많은 산업에서 CEP가 활용되고 있다. 신용카드 회사들은 사기를 방지하기 위해 CEP를 활용한다. 사기 범죄의 유형이 발견될 때, 회사는 중대한 손실을 겪기 전에 신용카드를 차단할 수 있다. 기반 시스템은 거래 정보의 상관성을 찾아내고, 이벤트 데이터 스트림을 추적하고, 프로세스를 시작할 것이다. 그리고 CEP는 재무 거래 어플리케이션, 날씨 리포팅 어플리케이션, 판매 관리 어플리케이션 등을 실행한다.

이러한 모든 어플리케이션들이 공통적으로 수행하는 것은 온도, 압력, 거래 규모, 판매 가치 등에 대한 미리 정의된 기준을 갖는 것이다. 이러한 기준에서 변화가 발생하면 액션이 취해진다. 만약 당신이 오랜된 모델의 자동차를 운전한다면, 아마도 타이어의 압력이 떨어질 때 자동차는 대쉬보드 알리미를 통해 운전자가 어떤 행동을 취하도록 알려줄 것이다.

많은 벤더들이 CEP 솔루션을 제공하고 있다. 시중의 많은 CEP 도구들은 실시간, 이벤트 구동 어플리케이션을 개발할 수 있도록 하고 있다. 이러한 스트림으로부터도 데이터가 어플리케이션으로 유입되지만, 전통적 데이터베이스 소스들로부터도 데이터가 유입된다. 이들이 제공하는 것은 통상적으로 Eclipse 기반의 그래픽 개발 환경, 실시간 데이터 흐름에 대한 연결, 이력 데이터 소스에 대한 API를 포함한 공통의 기능을 포함한다.

대부분의 이러한 제품들은 그래픽 이벤트 흐름 언어를 포함하고 SQL을 지원한다. 이 분야의 핵심 벤더들은 Esper (오픈소스 벤더), IBM 운영 결정 관리자, RulePoint를 포함한 Informatica, CEP 솔루션을 포함한 Oracle, Microsoft의 StreamInsights, SAS DataFlux 이벤트 스트림 처리 엔진, Streambase의 CEP 등이 있다. 수많은 스타트업들이 시장에 출현하고 있다.