[Data Science] 빅데이터에 있어 기업들은 왜 유동데이터를 원하는가

빅데이터의 현재 상태에 신속하게 반응하려면 유동 데이터가 필요하다. 신용카드 거래를 완료하거나 이메일을 보내려면, 데이터가 어느 한 위치에서 다른 위치로 전송되어야 한다. 데이터가 데이터 센터나 클라우드의 데이터베이스에 저장되어 있다면 그 데이터는 유동성이 없다. 반면, 데이터가 하나의 위치에서 다른 위치로 전송될 때 이 데이터는 유동적이다.

비즈니스 인사이트를 얻기 위해 거의 실시간에 가깝게 방대한 양의 데이터를 처리해야 하는 기업들은 데이터가 계속적으로 흐르고 있는 동안에도 데이터를 정비하고 있을 가능성이 높다. 유동 데이터와 방대한 양의 데이터는 손에 손을 잡고 있다. 연속적인 스트림의 방대한 양의 데이터에 대한 많은 실세계 예시들이 현재 사용되고 있다:

• 센서들은 고도로 민간한 의료 장비와 연결되어 성능을 모니터링하고 예상된 성능과 다른 징후가 보이면 기술자들에게 경고를 보낸다. 기록된 데이터는 지속적으로 변화하여 기술자들이 장비를 정상화하고 환자들에게 해를 끼칠 수 있는 잠재적 요소를 제거할 수 있는 충분한 시간을 가질 수 있도록 잠재적 오류에 대한 정보를 제공한다.

• 통신 장비는 서비스 수준이 고객의 기대에 부응할 수 있도록 방대한 양의 커뮤니케이션 데이터를 모니터링하는데 사용된다.

• 판매 시점의 데이터는 고객의 의사결정에 영향을 미치도록 생성되는 시점에서 분석된다. 데이터는 계약 시점에서 처리되고 분석된다 - 아마도 위치 데이터 및 소셜미디어 데이터와 연동되어 분석된다.

• 지불 혹은 주식거래에 대한 자세한 정보 등에 대한 메시지들은 재무기관 간 지속적으로 교환된다. 이러한 메시지들의 보안을 위해 고급 메시지 대기 프로토콜(Advanced Message Queuing Protocoll AMQP) 등과 같은 표준 프로토콜이나 IBM의 MQSeries이 자주 사용된다. 이러한 메시지 접근법들은 모두 이들의 프레임웍 내에서 보안 서비스를 장착한다.

• 어떤 한 기관은 시설을 향해 이동하는 토끼의 무해한 움직임과 해를 끼칠 수 있는 자동차의 빠른 움직임을 구별하기 위해 보안 민감 지역에서 센서로부터 정보를 수집한 바 있다.

• 의료 기기들은 환자 상태의 다양한 양상에 대한 엄청난 양의 세부 데이터를 제공하고 이러한 결과를 중대한 조건이나 다른 비정상적 신호와 결부시킬 수 있다.

유동 데이터 - 주로 스트리밍 형식의 데이터 - 는 속도가 중대한 요인이 되는 의사결정이 필요한 기업들에게 점점 더 중요해지고 있다. 만약 상황에 신속하게 대응할 필요가 있다면, 실시간으로 데이터를 분석하는 능력을 갖는 것은 결과를 변화시키기 위한 반응할 수 있는 능력이나 기대에 못 미치는 결과를 방지하는 능력 간의 차이를 의미할 수도 있다.

스트리밍 데이터에 대한 도전은 데이터가 정적 위치에 도달하기 전에 생성되고 전송되는 시점에서 유용한 정보를 추출하는 것이다. 스트리밍 데이터가 생성되거나 당신의 비즈니스에 도달할 때 그 데이터를 이용할 수 있다면 이 데이터는 비즈니스에 엄청난 가치를 부여할 수 있다.

데이터의 현재 상태 - 데이터가 움직이는 동안 그리고 데이터가 저장되기 전에 - 에 반응할 수 있도록 실시간으로 스트리밍 데이터를 처리하고 분석할 필요가 있다. 이 데이터의 컨텍스트와 이것이 성능 이력과 어떠한 관련이 있는지에 대한 어느 정도의 지식을 가질 필요가 있다. 그리고 이 정보를 전통적 운용 데이터와 통합할 필요가 있다.

기억해야 할 중요한 이슈는 스트리밍 데이터의 기본성질과 당신이 발견하고자 하는 결과가 어떤 것이지에 대한 명확한 이해를 할 필요가 있다는 것이다. 예를 들어, 당신의 회사가 제조회사라면 제조 공정에서 혼합되고 있는 화학물질의 순도를 모니터링하는 센서로부터 발생되는 데이터를 이용하는 것이 중요할 것이다.

이것은 스트리밍 데이터를 활용하는 분명한 이유이다. 그러나, 다른 상황에서도 많은 데이터를 수집하는 것이 가능할 수 있지만 이보다 중요한 비즈니스 요구사항은 존재하지 않는다. 다시 말해서, 항상 데이터를 스트리밍해야 된다는 것은 아니기 때문이다.

당신의 비즈니스를 변화시키기 위해 스트리밍 데이터를 어떻게 활용할 수 있을 것인가? 어떤 상황에서는 기업들이 이미 가지고 있는 데이터를 보다 효율적으로 활용할 수 있을 수도 있다. 다른 상황에서는 이들이 이전에 수집할 수 없었던 데이터를 수집하고 있다.

가끔 기관들은 과거에 스냅샷을 수집하는 것보다 훨씬 더 많은 데이터를 수집할 수 있다. 이러한 기관들은 고객, 환자, 도시 거주자, 또는 아마도 인류를 향한 서비스의 질을 향상시키기 위해 스트리밍 데이터를 활용하고 있다. 비즈니스는 스트리밍 데이터를 활용하여 판매 시점에서 고객들의 의사결정에 영향을 미치고 있다.