Scientific Computing & Data Science

빅데이터 워크플로우를 이해하려면, 먼저 프로세스가 무엇인지 그리고 이것이 데이터-집약적 환경에서 워크플로우와 어떤 관련이 있는지를 이해해야 한다. 프로세스는 기업이나 기관들에서 의사결정 및 업무목표 규정에 유용한 고수준의 전체 구조로 설계된다.이와는 대조적으로, 워크플로우는 업무에 대한 개별적인 방향성을 두고 프로세스 보다 더욱 특정의 데이터를 요구한다. 프로세스는 프로세스의 전반적 목표에 상응하는 하나 이상의 워크플로우로 구성된다.방법론적 시각에서 볼 때 빅데이터 워크플로우는 표준 워크플로우와 유사하다. 사실 어느 워크플로우든 업무 목표를 달성하기 위해서는 각 단계에서 데이터가 필요하다. 헬스케어 상황에서의 워크플로우를 예로 들어보자.가장 기초적인 워크플로우는 "채혈" 프로세스이다. 채혈은 전반적인 진..

원문: http://blog.naver.com/97jkkim?Redirect=Log&logNo=20205913188 Ⅰ.서론 1. 연구목적2. 빅 데이터의 개념 Ⅱ.본론 1. 빅 데이터가 몰고 온 새로운 물결1) 빅 데이터 이용의 사례들 2. 빅 데이터와 사회변화1) 비용의 절감2) 컴퓨터 프로그램의 발달3) 빅 데이터의 등장으로 인한 학자의 역할 변화 3. 빅 데이터의 리스크1) 사생활의 침해2) 예측과 범죄3) 기만하는 데이터 4. 빅 데이터의 리스크 해결1) 정보제공 동의에서 책임으로2) 범죄 예측과 그 처벌에 대한 통제3) 빅 데이터 전문가의 등장4) 빅 데이터 “왕”의 통제 Ⅲ.결론 1. 빅 데이터로 인한 사회 및 경제의 변화1) 빅 데이터로 인한 사회 및 경제의 변화 Ⅰ.서론 2009년 새로운..

스트리밍 데이터와 CEP는 기업들이 빅데이터를 활용하는데 있어 엄청난 영향력을 지니고 있다. 스트리밍 데이터를 활용하여, 기업들은 즉각적인 인사이트를 얻기 위해 실시간으로 이러한 데이터를 처리하고 분석할 수 있다. 과거에 인식하지 못하고 지나쳤던 핵심 데이터를 지속적으로 분석하기 위해 종종 두 개의 절차가 요구된다.CEP 접근방법을 통해 기업들은 데이터를 스트리밍하고 비즈니스 프로세스 엔진을 활용하여 비즈니즈 규칙을 이러한 스트리밍 데이터 분석 결과에 적용한다. 새로운 혁신과 새로운 행동으로 이끄는 인사이트를 얻을 수 있는 기회들은 스트리밍 데이터 접근방법의 기반 가치이다.그러면 CEP와 스트리밍 데이터 솔루션의 차이는 무엇인가? 스트림 컴퓨팅은 통상적으로 방대한 양의 데이터를 실시간으로 분석하는데 적용..

원문: http://www.ciokorea.com/news/20205빅 데이터가 전세계 기업들의 관심을 사로잡았지만 CIO와 CMO들은 빅 데이터가 가져올 다양한 편익을 실제로 어떻게 활용할 지 제대로 이해하지 못하고 있다. 게다가 이른바 빅 데이터 관련 업체들은 이들 C레벨 경영진에 '대답'보다는 '질문'을 더 안기고 있는 실정이다. 그러나 빅인사이트(BigInsights)가 발표한 '2013년 빅 데이터 현황(BigData Study 2013)'이라는 보고서에 따르면, 호주 기업의 리더들 가운데 60% 이상이 빅 데이터 도입의 가장 큰 장점으로 '고객에 관한 통찰력 향상'을 꼽았다. 빅 데이터 프로젝트는 CMO와 CIO의 관계를 강화하고, CMO가 리더십을 발휘할 기회도 제공한다. 근간이 되는 빅 데..

빅데이터(Big Data)는 흔히 ‘미래를 읽는 열쇠’로 불린다. 인터넷 등에 쌓여 있는 방대한 정보를 잘 분석하면 과거 사실뿐 아니라 미래에 유행할 질병·사회현상까지 예측할 수 있어서다. 이 때문에 최근에는 기업뿐 아니라 정부까지 나서 빅데이터를 활용하기 위한 다양한 아이디어를 내놓고 있다. 하지만 학계 일부에선 이런 ‘장밋빛 환상’을 경계하는 목소리도 나오고 있다. ▷여기를 누르시면 크게 보실 수 있습니다 미국 휴스턴대 라이언 케네디(정치학) 교수 연구팀은 13일 세계 최대 인터넷 기업인 구글의 대표적인 빅데이터 서비스를 도마에 올렸다. 그는 구글독감트렌드(Google Flu Trends·GFT)가 최근 2년간 실제와 다른 예측치를 내놨다고 꼬집었다. 그는 “‘빅데이터 혁명’ 대신 빅데이터와 스몰데이..

대부분의 빅데이터 관리 전문가들은 구조형 데이터베이스 관리 환경에서 메타데이터 관리의 필요성에 익숙하다. 이러한 데이터 소스들은 강한 유형적 틀을 지니며(예를 들어, 첫번째 10글자는 이름으로 정하는 것 등) 메타데이터 운영을 위해 설계되었다. 메타데이터가 비정형 구조 데이터에서는 존재하지 않는 것으로 가정하는 경우가 많은데 사실은 그렇지가 않다.통상적으로 어떤 유형의 데이터든지 구조를 발견할 수 있다. 비디오의 예를 들어 보자. 특정 비디오 콘텐츠를 정확히 알 수는 없지만 비디오 기반 데이터의 포맷 내에 많은 구조가 존재한다. 만약 비정형 구조의 텍스트를 본다면 영어로 씌어져 있는 단어들을 볼 수 있으며 적합한 툴을 적용한다면 텍스트를 해석할 수 있다.비정형 구조 데이터로부터 이러한 내포적 메타데이터로..

by Geol Choi | March 10, 2014이번 글에서는 "데이터베이스 간 참조"에 대하여 알아보도록 하겠다. 도큐먼트를 참조하는 방법은 크게 두 가지가 있는데, 하나는 수동 참조(Manual Reference)이며 다른 하나는 "DBRef"를 사용하는 것이다.그러면 각각에 대하여 자세히 알아보자. 수동 참조수동 참조 방식은 참조할 다른 도큐먼트의 아이디(ObjectID)를 도큐먼트 내 하나의 키(key)로 저장하는 것이다. 즉, 키 값인 아이디를 통해 참조할 도큐먼트를 얻어내어 해당 도큐먼트의 다른 데이터를 얻는 방식이다. 이 방법은 간단한 방식으로 대부분의 경우에서 사용된다.'백문이 불여일견'이므로 예제(예제는 MongoDB의 공식문서를 참조하여 작성하였다)를 통해 자세히 설명하도록 하겠다...

by Geol Choi | March 6, 2014지금까지는 데이터가 추가되거나 삭제될 때 저장 사이즈가 동적으로 변하는 컬렉션에 대하여 다루어 왔다.MongoDB는 저장 사이즈가 고정된 다른 유형의 컬렉션을 제공하는데, 이 컬렉션을 "Capped Collections"라고 한다. 가장 큰 특징 중 하나는 "aging-out"으로써, Capped collections는 도큐먼트가 저장되는 순서 그대로 저장되며 만약 저장소("queue"라고 함)가 가득 차 있을 경우 가장 오래된 도큐먼트를 삭제하고 새로운 도큐먼트를 저장한다.따라서, 저장소의 모양을 다음과 같이 형상화 할 수 있다:[그림 1] 새로운 도큐먼트는 queue의 맨 마지막에 들어온다.[그림 2] queue가 가득차게 되면, 최고(最古)의 도큐먼..

여러분은 빅데이터 분석에 대한 뉘앙스를 깨닫게 될 것이다. 이것은 정말 작은 데이터에 관한 것이다. 이것이 혼란스러워 보일 수도 있고 전체적인 전제에 위반되는 것처럼 보일 수도 있지만, 작은 데이터는 빅데이터 분석의 결과이다. 전혀 새로운 개념도 아니며, 오랜동안 데이터 분석을 해왔던 사람들에게 익숙하지 않은 것도 아니다. 전체 작업 공간은 커지고 있으나, 해답은 "작다"는 것 어딘가에 존재한다.전통적 데이터 분석은 고객 정보, 제품 정보, 거래 정보, 원격측정 데이터 등등으로 가득찬 데이터베이스로 시작했다. 그 당시에도 가용 데이터는 차거 넘쳐서 효율적인 데이터 분석이 불가능했다. 시스템, 네트워크, 소프트웨어는 스케일을 논할 만한 성능이나 용량이 되지 않았다. 산업 곳곳에서 보다 작은 데이터 세트를 ..

Written by cinema4d이번 글에서는 DB 명령어에 대해 알아보도록 하겠다. 그 동안 앞선 글에서 다루지 않았던 수많은 MongoDB의 명령어에는 어떤 것들이 있는지 훑어볼 수 있는 기회가 될 것이다.(물론 하나하나 다루지는 않는다. 여기서 다루지 않은 명령어들은 MongoDB의 공식 도큐먼트 페이지를 통해 알아보기 바란다.) 우선 "db.listCommands()" 명령을 통해 DB 명령어의 리스트를 살펴보도록 하자:> db.listCommands() _isSelf: no-lock { _isSelf : 1 } INTERNAL ONLY _migrateClone: no-lock adminOnly slaveOk internal - should not be called directly _recvCh..