Scientific Computing & Data Science

복잡한 이벤트 처리(Complex Event Processing, 이하 CEP)는 빅데이터에 있어 유용한 것인데 유동 데이터를 관리하기 위한 것이기 때문이다. CEP는 이벤트 발생 시 데이터를 추적하고, 분석하고, 처리하기 위한 기술이다. 이 정보는 비즈니스 규칙과 절차를 기반으로 처리되고 통신된다.CEP 뒤에 숨은 아이디어는 정보의 스트림 간에 상관관계를 수립할 수 있다는 것과 리스크를 줄이고 기회를 포착하는 등의 정의된 행동의 결과 패턴을 매칭할 수 있다는 것이다. CEP는 행동을 일으킬 수 있는 이벤트와 패턴을 발견하기 위해 다양한 관련 소스로부터 데이터를 수집하고 결합하는 간단한 이벤트 처리를 기반으로 하는 고급 접근방법이다.다음과 같이 예를 들어보자. 리테일 체인점이 반복적 판매를 늘리기 위해 ..

대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..

ETL 도구들은 하나의 빅데이터 환경에서 얻은 데이터를 다른 데이터 환경으로 이전하는데 필요한 세 가지 중요한 기능(추출(Extract), 변형(Transform), 불러내기(Load))을 결합한다. 전통적으로, ETL은 데이터 웨어하우스 환경에서 일괄 처리 작업을 하는데 사용되어 왔다. 데이터 웨어하우스는 사업자들에게 사업 중점에 관계되는 데이트에 대한 분석과 리포트를 강화하는 수단을 제공한다. ETL 도구들은 데이터 웨어하우스가 요구하는 포맷으로 데이터를 변형한다.변형은 사실상 데이터가 데이터 웨어하우스에 로딩되기 전 중간 위치에서 실행된다. IBM, Informatica, Pervasive, Talend, Pentaho를 포함한 많은 소프트웨어 벤더들이 ETL 소프트웨어 툴을 제공한다.ETL은 다음..

여러분은 빅데이터 분석에 대한 뉘앙스를 깨닫게 될 것이다. 이것은 정말 작은 데이터에 관한 것이다. 이것이 혼란스러워 보일 수도 있고 전체적인 전제에 위반되는 것처럼 보일 수도 있지만, 작은 데이터는 빅데이터 분석의 결과이다. 전혀 새로운 개념도 아니며, 오랜동안 데이터 분석을 해왔던 사람들에게 익숙하지 않은 것도 아니다. 전체 작업 공간은 커지고 있으나, 해답은 "작다"는 것 어딘가에 존재한다.전통적 데이터 분석은 고객 정보, 제품 정보, 거래 정보, 원격측정 데이터 등등으로 가득찬 데이터베이스로 시작했다. 그 당시에도 가용 데이터는 차거 넘쳐서 효율적인 데이터 분석이 불가능했다. 시스템, 네트워크, 소프트웨어는 스케일을 논할 만한 성능이나 용량이 되지 않았다. 산업 곳곳에서 보다 작은 데이터 세트를 ..

이번 글에서는 빅데이터 생태계를 구성하는 구성원들 및 그들의 역할에 대해 알아본다. 고객: 고객없는 서비스는 존재할 수 없다. 고객은 당신의 제품을 사용하고, 당신의 버튼과 링크를 클릭하거나 완전히 무시할 수도 있다. 당신의 일은 지속적으로 고객들에 대한 가치를 창출하는 것이다. 고객들의 관심이 곧 당신 제품의 성공 여부를 결정한다.비즈니스 개발자: 비즈니스 개발자는 웹페이지 제작이나 프로모션을 통해 초기에 고객을 유치하는 활동을 한다. 시장에서 제품으로부터 고객을 끌어모으는 역할이다.마케터: 마케터는 고객들이 어떠한 시장을 추구하도록 할 것인가를 결정한다. 또한 빅데이터 제품에 대한 초기 이미지를 결정한다.제품 관리자: 제품의 비전과 방향에 대한 고객의 의견을 수집하는 활동에 대한 각 역할을 담당한다...

빅데이터 관련 기본 용어 정리 [확장성] 어떠한 요구에 대한 응답으로서의 오퍼레이션을 확장 또는 축소할 수 있는 "단순화"를 의미한다. 빅데이터에 있어 확장성은 어플리케이션에서 부하 및 복잡성이 선형으로 증가함에 따라 비용 및 복잡성 측면에서 아선형(선형에 못 미치는 형태를 의미)으로 성장하는 소프트웨어 도구 및 기술을 의미한다. [NoSQL] "Not only SQL"에 대한 약어이며 획일적 관계형 데이터베이스의 정형 구조 데이터를 저장하는 한계를 극복하기 위해 설계된 쿼리 언어이다. 단순히 온라인 트랜잭션(OLTP, Online Transaction Processing)를 최적화하거나 온라인 분석 처리(OLAP, Online Analytic Processing)를 확장하는 도구의 의미를 넘어 도구 분..

최근 좋은 이유로 빅데이터 분석에 대한 대대적 광고를 하고 있다. 이러한 움직임에 동참하려면 빅데이터 분석의 특성을 알아야 한다. 기업들은 빅데이터에 무언가 있다는 것을 인지하고 있지만 최근까지도 데이터 수집에 어려움을 겪어 왔다. 분석에 대한 이러한 추세는 빅데이터 분석 움직임의 흥미로운 양상이다.기업들은 그들이 수집하고 있는 데이터에 접근하고 분석할 수 있다는 것과 이 데이터로부터 통찰력을 얻을 수 있다는 사실에 많은 기대를 하고 있지만, 효율적으로 관리되고 분석된 적은 없다. 이는 방대한 양의 다양한 데이터를 시각화하는 것일 수도 있고, 실시간으로 스트리밍을 분석하는 것일 수도 있다. 어떤 면에서는 진화적이며 어떤 면에서는 혁명적이다.그래서 당신의 기업이 빅데이터 분석을 추진 시 어떤 차별화를 갖는..

빅데이터는 의료 서비스의 품질을 높이는데 있어 유전자 연구 분야에서 고급 영상의학 분야에 이르는 헬스케어 산업에 대해 중대한 의미를 갖는다. 각 영역에서 심도있는 연구 진행을 위해 빅데이터 분석이 활용되는 반면, 빅데이터 활용에 대한 혜택은 이 정보를 의약에 적용하는 것이다.충분한 데이터가 획득되면, 이 데이터는 실용적이고도 생명을 구하기 위한 적절한 타이밍에 적용될 수 있다. 메디컬 클리니션(직접 환자를 상대하는 의사)들과 연구자들은 스트리밍 데이터를 활용하여 병원 셋팅에 대한 의사결정 속도를 높이며 환자를 위한 헬스케어 서비스 품질을 향상시키고 있다.환자 진료 시, 의사들은 실험실 테스트 결과, 임상병리학 리포트, X-레이, 디지털 이미지 등을 포함한 방대한 양의 시간-민감 데이터(시간에 따라 실시간..

에너지 사용 절감, 신재생 에너지 탐구, 에너지 효율 개선 등은 환경을 보호하고 지속가능한 경제성장을 위한 빅데이터의 중요한 목표이다. 이러한 목표 달성을 위해 실시간으로 방대한 양의 실시간 데이터를 모니터링하고 분석하고 있다.큰 규모의 많은 기관들은 현재 그리고 미래에 있어 우리가 필요로하는 에너지 자원 확보를 확신하기 위한 다양한 측정을 하고 있다. 바람 터빈, 태양열 팜(farm), 파력 에너지와 같은 새로운 에너지 원천은 계속되는 화석 연료의 가격 상승과 고갈에 대한 현실적인 옵션이 되고 있다.이 기관들은 에너지를 생성하고 저장하며 수요에 대한 공급 균형을 맞추기 위한 양질의 실시간 정보를 필요로한다. 이들은 스트리밍 데이터를 활용하여 에너지 수요를 측정하고 모니터링하여 에너지 요구사항에 대한 이..

거의 모든 도시가 세금의 형태, 건물과 다리의 센서, 교통 상황 모니터링, 위치 데이터, 범죄 활동 관련 데이터 등의 빅데이터를 사용할 수 있는 역량을 갖추고 있다. 도시를 더욱 안전하게, 보다 효율적으로, 더욱 살기 좋은 곳으로 또는 더욱 일하기 좋은 곳으로 만드는 실행 가능한 정책을 만들기 위해서는 다양한 소스로부터 방대한 양의 데이터를 수집하고 분석해야 한다.많은 도시 공무원들은 공공 정책 향상에 관한 연구에 수반되는 대부분의 데이터(년도별 인구 데이터, 경찰 기록, 도시 세금 기록 등)를 수집해 오고 있으며, 분석하는 기간은 역사적으로 볼 때 몇달 또는 몇년이 소요되었다. 경찰서와 같은 하나의 특정 공무 기관 내에서 조차 각각의 분할된 지구가 따로따로 데이터를 수집하며 도시 및 주변 커뮤니티가 이..