Scientific Computing & Data Science

빅데이터 워크플로우를 이해하려면, 먼저 프로세스가 무엇인지 그리고 이것이 데이터-집약적 환경에서 워크플로우와 어떤 관련이 있는지를 이해해야 한다. 프로세스는 기업이나 기관들에서 의사결정 및 업무목표 규정에 유용한 고수준의 전체 구조로 설계된다.이와는 대조적으로, 워크플로우는 업무에 대한 개별적인 방향성을 두고 프로세스 보다 더욱 특정의 데이터를 요구한다. 프로세스는 프로세스의 전반적 목표에 상응하는 하나 이상의 워크플로우로 구성된다.방법론적 시각에서 볼 때 빅데이터 워크플로우는 표준 워크플로우와 유사하다. 사실 어느 워크플로우든 업무 목표를 달성하기 위해서는 각 단계에서 데이터가 필요하다. 헬스케어 상황에서의 워크플로우를 예로 들어보자.가장 기초적인 워크플로우는 "채혈" 프로세스이다. 채혈은 전반적인 진..

원문: http://blog.naver.com/97jkkim?Redirect=Log&logNo=20205913188 Ⅰ.서론 1. 연구목적2. 빅 데이터의 개념 Ⅱ.본론 1. 빅 데이터가 몰고 온 새로운 물결1) 빅 데이터 이용의 사례들 2. 빅 데이터와 사회변화1) 비용의 절감2) 컴퓨터 프로그램의 발달3) 빅 데이터의 등장으로 인한 학자의 역할 변화 3. 빅 데이터의 리스크1) 사생활의 침해2) 예측과 범죄3) 기만하는 데이터 4. 빅 데이터의 리스크 해결1) 정보제공 동의에서 책임으로2) 범죄 예측과 그 처벌에 대한 통제3) 빅 데이터 전문가의 등장4) 빅 데이터 “왕”의 통제 Ⅲ.결론 1. 빅 데이터로 인한 사회 및 경제의 변화1) 빅 데이터로 인한 사회 및 경제의 변화 Ⅰ.서론 2009년 새로운..

스트리밍 데이터와 CEP는 기업들이 빅데이터를 활용하는데 있어 엄청난 영향력을 지니고 있다. 스트리밍 데이터를 활용하여, 기업들은 즉각적인 인사이트를 얻기 위해 실시간으로 이러한 데이터를 처리하고 분석할 수 있다. 과거에 인식하지 못하고 지나쳤던 핵심 데이터를 지속적으로 분석하기 위해 종종 두 개의 절차가 요구된다.CEP 접근방법을 통해 기업들은 데이터를 스트리밍하고 비즈니스 프로세스 엔진을 활용하여 비즈니즈 규칙을 이러한 스트리밍 데이터 분석 결과에 적용한다. 새로운 혁신과 새로운 행동으로 이끄는 인사이트를 얻을 수 있는 기회들은 스트리밍 데이터 접근방법의 기반 가치이다.그러면 CEP와 스트리밍 데이터 솔루션의 차이는 무엇인가? 스트림 컴퓨팅은 통상적으로 방대한 양의 데이터를 실시간으로 분석하는데 적용..

복잡한 이벤트 처리(Complex Event Processing, 이하 CEP)는 빅데이터에 있어 유용한 것인데 유동 데이터를 관리하기 위한 것이기 때문이다. CEP는 이벤트 발생 시 데이터를 추적하고, 분석하고, 처리하기 위한 기술이다. 이 정보는 비즈니스 규칙과 절차를 기반으로 처리되고 통신된다.CEP 뒤에 숨은 아이디어는 정보의 스트림 간에 상관관계를 수립할 수 있다는 것과 리스크를 줄이고 기회를 포착하는 등의 정의된 행동의 결과 패턴을 매칭할 수 있다는 것이다. CEP는 행동을 일으킬 수 있는 이벤트와 패턴을 발견하기 위해 다양한 관련 소스로부터 데이터를 수집하고 결합하는 간단한 이벤트 처리를 기반으로 하는 고급 접근방법이다.다음과 같이 예를 들어보자. 리테일 체인점이 반복적 판매를 늘리기 위해 ..

원문: http://www.itworld.co.kr/news/86474온라인 고객 데이터를 효과적으로 분석하고 이를 직원들이 활용할 수 있도록 허용한 기업이 수익과 생산성이 높다는 조사결과가 나왔다. 빅데이터는 그동안 '기업을 위한 필수 리소스'로 알려졌지만, 현재까지 그 가치를 입증할 수 있는 객관적인 근거는 많지 않다. 그러나 영국 네스타(NESTA, The National Endowment for Science Technology and the Arts)가 영국 내 다양한 업계의 기업 500개를 대상으로 조사한 결과를 보면 온라인 고객 정보를 수집, 분석, 활용한 기업은 생산성이 8~11% 더 높은 것으로 나타났다. 보고서를 보면 데이터 분석은 기업 수익성을 높이는 데도 도움이 된다. 수익성을 평균..

원문: http://www.ciokorea.com/news/20205빅 데이터가 전세계 기업들의 관심을 사로잡았지만 CIO와 CMO들은 빅 데이터가 가져올 다양한 편익을 실제로 어떻게 활용할 지 제대로 이해하지 못하고 있다. 게다가 이른바 빅 데이터 관련 업체들은 이들 C레벨 경영진에 '대답'보다는 '질문'을 더 안기고 있는 실정이다. 그러나 빅인사이트(BigInsights)가 발표한 '2013년 빅 데이터 현황(BigData Study 2013)'이라는 보고서에 따르면, 호주 기업의 리더들 가운데 60% 이상이 빅 데이터 도입의 가장 큰 장점으로 '고객에 관한 통찰력 향상'을 꼽았다. 빅 데이터 프로젝트는 CMO와 CIO의 관계를 강화하고, CMO가 리더십을 발휘할 기회도 제공한다. 근간이 되는 빅 데..

원문: http://www.itworld.co.kr/blog/?l=http://dellpowersolution.co.kr/205721705"델 코리아가 한국 빅 데이터 시장에 본격 진출합니다. 업계 선도적 파트너사들과 함께 구축한 델 빅 데이터 스타터 기트는 확장성, 사용 용이성과 함께 적은 인프라 비용으로 빅 데이터를 이용할 수 있게 해줍니다." 델 코리아는 서울 리츠 칼튼 호텔에서 '빅데이터 솔루션 데이'를 개최하고 인텔, 레볼루션 애널리틱스(RA), 클릭테크의 솔루션으로 결합한 빅 데이터 어플라이언스를 발표했습니다다. 델 코리아 김경덕 대표는 빅 데이터가 이머징 트렌드에서 IT 업계의 주류 기술로 자리 잡았다고 진단하며, 이번 '빅 데이터 스타터 키트'가 저렴한 비용에 빅 데이터를 활용할 수 있게 ..

원문: http://www.ciokorea.com/news/20112마이크로소프트가 클라우드, 엔터프라이즈 소셜, 빅 데이터, 기계 학습, 모바일 기능을 결합해 오피스 365 플랫폼에서 제공하는 계획에 대해 발표했다. 회사의 제프 데퍼 부사장은 셰어포인트 컨퍼런스에서의 키노트 연설에서 이러한 구상을 공개했다. 그는 기업 내 최종 사용자, 개발자 커뮤니티, IT 전문가를 대상으로 한다고 설명했다. 그에 따르면 먼저 최종 사용자를 겨냥해 마이크로소프트는 소셜 기능을 통합한 새로운 '개인화된' 경험을 선보였다. 이를 통해 정보 탐색, 유사 프로젝트 경험 인력 등을 쉽고 빠르게 발견할 수 있다는 설명이다. 오피스 그래프(Office Graph)라는 이름의 이번 새로운 오피스 365 인텔리전스 패브릭은, 사용자에..

빅데이터(Big Data)는 흔히 ‘미래를 읽는 열쇠’로 불린다. 인터넷 등에 쌓여 있는 방대한 정보를 잘 분석하면 과거 사실뿐 아니라 미래에 유행할 질병·사회현상까지 예측할 수 있어서다. 이 때문에 최근에는 기업뿐 아니라 정부까지 나서 빅데이터를 활용하기 위한 다양한 아이디어를 내놓고 있다. 하지만 학계 일부에선 이런 ‘장밋빛 환상’을 경계하는 목소리도 나오고 있다. ▷여기를 누르시면 크게 보실 수 있습니다 미국 휴스턴대 라이언 케네디(정치학) 교수 연구팀은 13일 세계 최대 인터넷 기업인 구글의 대표적인 빅데이터 서비스를 도마에 올렸다. 그는 구글독감트렌드(Google Flu Trends·GFT)가 최근 2년간 실제와 다른 예측치를 내놨다고 꼬집었다. 그는 “‘빅데이터 혁명’ 대신 빅데이터와 스몰데이..

대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..